進捗一覧
・結合方法を変えて実験
・ドロップアウトの係数を0.4にして96エポック学習
・CNNとMLPを学習させずに実験
結合方法を変えて実験
Concatenateレイヤーに入力する際のCNNとMLPの出力を変えて実験を行いました。
条件一覧
・(None, 32)で直列に結合
・(None, 64)で直列に結合
・(None, 1, 32)で並列に結合
・(None, 24, 64)で並列に結合
・(None, 96, 16)で並列に結合
| 評価結果 | mae | rmse | R2 |
| (None,32)直列 | 1.9832 | 2.5692 | 0.0775 |
| (None,64)直列 | 2.0381 | 2.6855 | -0.0079 |
| (None,1,32)並列 | 1.9840 | 2.5551 | 0.0875 |
| (None,24,64)並列 | 1.9699 | 2.6197 | 0.0408 |
| (None,96,16)並列 | 2.1492 | 2.8204 | -0.1117 |
全体的にあまり変化は見られませんでした。
学習過程においても、今までと同じ傾向でした。
(全体的にバリデーションの値が悪く、直列より並列の方が学習自体は収束する。)
ドロップアウトの係数を0.4にして96エポック学習
前回に引き続き、CNNのドロップアウト係数を上げて実験を行いました（過学習対策）。48エポック目のモデルに対して追加で学習を行いました。
・学習過程グラフ
※オプティマイザーのパラメータが初期化されたため、49エポック目でloss, maeが下がっている (学習には問題ない）
| 評価結果 | mae | rmse | R2 |
| 96エポック | 1.6853 | 2.2994 | 0.2444 |
| 48エポック | 1.6113 | 2.3274 | 0.2259 |
評価結果にあまり違いは見られませんでした。
CNNとMLPを学習させずに実験
CNNとMLPをフリーズさせて実験を行いました。
（結合後のレイヤーのみ学習）
Concatenateレイヤーへの入力はCNN・MLPそれぞれ直列で(None, 16)、並列で(None, 1, 16)です。
| 評価結果 | mae | rmse | R2 |
| 学習なし：直列 | 1.7560 | 2.3827 | 0.1887 |
| 学習なし：並列 | 2.1399 | 2.6760 | -0.0009 |
| 学習あり：直列 | 1.9101 | 2.5075 | 0.1213 |
| 学習あり：並列 | 1.8559 | 2.4318 | 0.1735 |
・学習過程（直列）
・学習過程（並列）
テストデータによる評価については、CNNとMLPの学習をフリーズさせた場合に直列では評価が上がり、並列では下がりました。
学習過程に関して、maeとlossの値は悪化したことから、CNNとMLPを学習させた場合に比べて特徴を抽出できていないことが考えられます。今後は結合後のレイヤー数を増加させて実験を実験を行います。
今後の予定
・CNNとMLPをフリーズさせて実験（続き）
・データ拡張についての実験
・修論の章立てを考える