データ前処理

python

【AI】KerasのLambda層の使い方を解説!FunctionAPIモデルで実演!

こんにちは、ヒガシです。 前回の記事にて、KeasのLambda層についての解説しましたが、Sequentialモデルでは複雑な処理を実行することができませんでした。 ということで今回はFunctionAPIモデルを使ってSequentia...
python

【Python-openCV】画像回転⇒ランダム切り抜き!AIデータの水増しに!

こんにちは、ヒガシです。 このページでは以下の画像に示すように、ベースとなる画像データをランダムに回転させ、そこからさらにランダムに指定サイズで画像を切り抜くという処理を連続実行する方法をご紹介していきます。 画像認識系の機械学習を実施する...
python

【Python-OpenCV】画像からランダムに指定サイズで切り抜く方法!

こんにちは、ヒガシです。 画像認識系の機械学習を実施する際、既存のデータを加工してデータを水増しすることが有効な場合もあります。 いわゆるData Augmentationってやつですね。 このページでは、その水増し手法の一つである、既存の...
python

【Python】時系列データのノイズ除去方法!スムージング処理を実演!

こんにちは、ヒガシです。 先日私がAI系業務を行っていると、以下のような時系列データに遭遇しました。 途中まではなめらかなデータなんですが、途中で突然ノイズが乗ってくるというデータです。 なんとかこのノイズを除去したいと思い、FFT処理を試...
人工知能

【AI】時系列csvデータをLSTM用の入力データに加工する方法

こんにちは、ヒガシです。前回に引き続きLSTMのデータ加工のお話です。 前回紹介した記事では、Python上で適当な時系列データを作成し、それをLSTM用に加工していましたが、実業務においてそんなデータを使うことはまずありません。 というわ...
人工知能

【AI】複数の入出力を持つデータをLSTMモデルに入力する方法(Keras版)

こんにちは、ヒガシです。 このページでは、AI分野において時系列データを予測する際によく用いられるLSTMモデルに対して、複数の入力、複数の出力を持つデータを使用する方法をご紹介していきます。 LSTMのサンプルコードはネット上に多々落ちて...
人工知能

【AI】教師データをIN_OUTの対応関係を維持した状態でシャッフルする方法!

このページでは、AIの教師あり学習で使用される入力データ(input)と目標データ(output)を対応関係を維持した状態でシャッフルする方法をご紹介していきます。 学習前処理としてぜひご活用ください。 それではさっそくやっていきます。 ※...
人工知能

【人工知能】教師データを指定割合で学習用、評価用に分割する方法!

このページでは、csvファイルとして準備してあるAIの教師データを学習用、評価用の2つに指定した割合で分割する方法をご紹介していきます。 自動で実行してくれる便利なライブラリもありますが、今回紹介するような基本的な配列操作だけでも実行できま...
人工知能

【人工知能】AIに学習させる画像のデータセットを作成する方法

こんにちは、ヒガシです。 今回はAIを構築する際に必要なデータ構築スキルについて解説していきます。 画像認識のAIを構築する際など、当然ながら大量の画像データをAIに学習させる必要があります。 一言に学習させると言っても、画像をフォルダに入...
python

【python】numpy形式のまま配列を保存&既存配列をロードする方法!

この記事では、python上で作成したnumpy配列を保存する方法、および保存されているnumpy配列をpython上にロードする方法をご紹介していきます。 機械学習をする際に作成した教師データを保存したり、あらかじめ作成しておいた教師デー...
python

【python】対応関係を維持したまま2つの配列をシャッフルする方法!

この記事では、2つの配列の対応関係を維持したまま、配列内要素をシャッフルする方法をご紹介していきます。 機械学習の教師データ作成の際に役立つスキルです。 ぜひやり方を覚えておましょう。 なお、今回の記事で用いる基礎的なスキルは以下の記事内で...