【AI】時系列csvデータをLSTM用の入力データに加工する方法

こんにちは、ヒガシです。前回に引き続きLSTMのデータ加工のお話です。

前回紹介した記事では、Python上で適当な時系列データを作成し、それをLSTM用に加工していましたが、実業務においてそんなデータを使うことはまずありません。

というわけで今回は実際の業務適用をイメージして、csvファイルにまとめられている時系列データをLSTM用に加工⇒学習⇒評価という流れを実演してみようと思います。

今回も前回同様に入力、出力ともに複数個あるパターンで実施していきます。

それではさっそくやっていきましょう！

使用するサンプル時系列データの紹介

今回は以下のような時系列データを使用していきます。

一般的によくあるように、一番左の列に時刻、それより右に各時刻のデータがならんでいるものですね。

データの中身は以下のように入力（X）がSIN波、COS波、出力(Y)がそれらの合成波になっているものです。

〇入力（X）データ

〇出力（Y）データ

今回はこの入力データ４つから出力データ２つを予測する、という流れで実演していきます。

時系列csvデータの読み込み方法

それではさっそく実際の作業に入っていきましょう。

まずは先ほどのcsvファイルを読み込んでいきます。

今回はプログラム実行場所にあるdata_set.csvというファイルを読み込んでみます。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
data_file='data_set.csv'
#csvファイルの読み込み
data=pd.read_csv(data_file).values
#時刻データ（一番左側）は使わないので除去する
data=data[:,1:]

これで先ほど紹介したX1~Y2までの時系列データが、変数dataに格納されています。

読み込んだcsvファイルデータをLSTM用に加工する

次は先ほど読み込んだデータをLSTM用に加工していきましょう。

以下がそのサンプルコードです。

#データを入力(X)４つ、出力(Y)２つに分ける
input_data=data[:,0:4]
output_data=data[:,4:6]
Xdata=[]
Ydata=[]
#LSTM用にデータ加工
look_back=5
for i in range(data.shape[0]-look_back):
    Xtimedata=[]
    for j in range(input_data.shape[1]):
        Xtimedata.append(input_data[i:i+look_back,j])
    Xtimedata=np.array(Xtimedata)
    Xtimedata=Xtimedata.transpose()
    Xdata.append(Xtimedata)
    Ytimedata=[]
    for j in range(output_data.shape[1]):
        Ytimedata.append(output_data[i+look_back,j])
    Ydata.append(Ytimedata)
Xdata=np.array(Xdata)
Ydata=np.array(Ydata)

これでXdata、Ydataという変数にLSTM用の入力データ、出力データが格納されています。

LSTM用のデータは(データの総組み合わせ個数, 過去分のデータ数,１つのデータの次元)という構成になっている必要がありますので、

実際に加工したデータをLSTMに入れてみる

ここまでくるともうこの記事の趣旨とは外れますが、学習⇒テストまでやってみましょう。

まずは学習です。

#ライブラリインポート
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.layers import LSTM
from tensorflow.keras.optimizers import Adam
#学習用の情報指定
Xdim=Xdata.shape[2]
Ydim=Ydata.shape[1]
validation_split_rate=0.2
#モデル構築
model = Sequential()
model.add(LSTM(4, input_shape=(look_back,Xdim)))
model.add(Dense(Ydim))
model.compile(loss="mean_squared_error", optimizer=Adam(lr=0.001))
model.summary()
#学習開始
history=model.fit(Xdata,Ydata,batch_size=16,epochs=200,validation_split=validation_split_rate)
#学習履歴のグラフ化
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Model loss')
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.legend(['Train', 'Test'], loc='upper left')
plt.show()

こいつを実行すると以下のグラフが出力されました。

Lossが問題なく減り、学習データとテストデータの損失がほぼ一致していますね。

学習したモデルの精度を確認してみる

それでは先ほど学習させたモデルをテストしてみましょう。

#学習データから学習時にテストデータとして用いた部分を取り出す
Xdata_validation=Xdata[-int(len(Xdata)*(validation_split_rate)):]
Ydata_validation=Ydata[-int(len(Ydata)*(validation_split_rate)):]
#テスト
Predictdata = model.predict(Xdata_validation)
#テスト結果のグラフ化
plt.plot(range(0, len(Predictdata)),Predictdata[:,0], color="b", label="predict")
plt.plot(range(0, len(Ydata_validation)),Ydata_validation[:,0], color="r", label="row_data")
plt.legend()
plt.show()

kerasのvalidation_splitは指定した割合でデータの前半を学習、後半はテスト用に分割してくれていますので、同じ操作でまずは学習用、テスト用に分割します。

そしてテスト用データだけをモデルに投入し、出てきた結果をもともとのデータと比較するという流れですね。

こいつを実行すると以下の結果が得られました。

（精度が良すぎて重ねってしまいわかりにくかったので、あえてちょっと数値をずらしています。）

というわけで問題なく予測できていそうですね。

おわりに

というわけで今回は時系列データがはいっているcsvファイルからLSTM用のデータを作成⇒学習⇒テストという流れを実演してみました。

データ分析の際などにぜひご活用ください。

このように、私のブログでは様々なスキルを紹介しています。

過去記事一覧

今は仕事中で時間がないかもしれませんが、ぜひ通勤時間中などに他の記事も読んでいただけると嬉しいです。
⇒興味をもった方は【ヒガサラ】で検索してみてください。

確実にスキルアップできるはずです。

最後に、この記事が役に立ったという方は、ぜひ応援よろしくお願いします。
↓ 応援ボタン

にほんブログ村

それではまた！
Follow @HigashiSalary