上野さんのページ

やったこと

・DCON論文の投稿
・桃のデータ採取

DCON論文の投稿

無事投稿することが出来ました。
査読後の対応に向けて、引き続き実験をしていきます。

桃のデータ採取

桃のデータ採取が完了しました。
データがきちんと揃っているか確認して、第一弾から第三弾までの各平均糖度をまとめます。

今後の予定

・引き続きホールドアウトの調査
・CNN+HSVデータの実験

やったこと

・DCON原稿の第二稿作成
・桃のデータ採取

DCON原稿の第二稿作成

第３稿の作成をします。
ハイブリッドモデルについて、ホールドアウト法での実験が可能かどうかを試しています。データとプログラムは確認して用意できたのですが、プログラムの実行中にエラーが出ている状態です。（まだエラーの内容は見ていないです。）

ひとまず他の箇所を先に修正して、ホールドアウト法での実験が可能かどうか明日の午前中まで検討してみます。

桃のデータ採取

桃51個分のデータ採取をおこなっています。

青野くんにも手伝ってもらい、計31個のデータ採取を行いました。採取の手順を見直して、一つにつき10分以内でデータが採取できるようになりました。（画像の撮影と糖度の採取を分ける方法に変更。）
明日の1時からも引き続き行い、第一回搬入分の51個分の桃を採取する予定です。

本日データ採取済みの桃（15個分）をこの後切るので、ぜひ桃を食べていただけるとありがたいです🙇‍♂️

今後の予定

・DCON原稿
・桃のデータ採取

DCON第一稿

DCONの原稿の第一稿を作成しました。

CGVI第190回研究発表会

CGVI第190回研究発表会に参加しました。
午後に会場の富士通テクノロジーホールを見学しました。

横浜でお土産のお菓子を買ってきたので、後でぜひ食べてください。

今後の予定

ハイブリッドモデルと、拡張した画像にHSV画像を追加したモデルの比較を行います。

やったこと

・VGG 16のNaNの原因調査
・桃のデータ調査

VGG 16のNaNの原因調査

調べたところ、学習する層が多すぎるため学習結果が誤差と判定されてNaNとなっている可能性がある。そのため、固定する層を増やして学習を行なって様子を見る。

桃のデータ調査

データを確認していたところ、桃の画像とデータにずれが生じている可能性があることがわかったので、一度並び替えて実験を行い結果を見る。DCONに使うデータは、880データのものを使うか、1024データのものを使うかを提出期限を見ながら検討する。
正規化の割合についても引き続き調査を行う。

全体的に進捗が遅れているため、DCONに合わせてペースアップしていく。

今後の予定

・実験（VGG16・HSV画像を追加してファインチューニング）
・DCON論文の第1稿（書く内容を整理して来週中には完成）
・桃のデータ調査の続き

やったこと

・MLPの学習
・桃データの確認

MLPの学習

・モデルの構成
全結合層とBatchNormalizationで構成。
活性化関数はRelu関数を使用。

・条件
背景：黒色背景（GrabCutを用いて領域抽出済み）
桃の糖度：各側面に対応
データ数：元データ1024を拡張した10240データ
　　　　　元データ880を拡張した8800データ
シード値：0
エポック数：48

・学習過程

↓1024データ

↓880データ

・評価結果

評価関数	MAE	RMSE	R２
平均値(1024)	1.6884 ±0.1228	2.1472 ±0.1618	-0.2424 ±0.1699
平均値(880)	1.1011 ±0.0481	1.3869 ±0.0571	0.3562 ±0.0574

桃データの確認

・糖度データ
　最後の144データは少しばらつきがある

データ数	平均値	分散	標準偏差
1024（全て）	10.6338	3.7549	1.9378
880まで	10.8399	3.7549	1.7378
最後の144	9.3743	6.4405	2.5378

・大きさ（領域抽出した場合）（正規化するべきか）
　抽出後の画像サイズ(正規化する前)÷正規化後の画像サイズ
　もう少し詳しく調べる

・画像の見た感じ
　特に差はない

今後の予定

・VGG16の学習で起こるNaNの原因を探る
・桃のデータ確認の続き
　（画像と糖度のデータにずれがないかを確認）
ーーーーーーーーーーーーーーーーーーーーーー
・カラー背景画像からの桃領域抽出
・カラー画像を追加して学習

ResNet50の学習

・モデルの構成
ResNet50の143 層目以降と追加した全結合層2層、BatchNormalizationを学習。
学習する層に関しては調整が必要かもしれない。

・条件
背景：黒色背景（GrabCutを用いて領域抽出済み）
桃の糖度：各側面に対応
データ数：元データ1024を拡張した10240データ
シード値：0
エポック数：48

・学習過程グラフ

・評価結果

評価関数	MAE	RMSE	R２
平均値	1.0941 ±0.0842	1.4292 ±0.098	0.4423 ±0.1343

バリデーションは他のモデルと同様に値が大きいが、テストデータで評価した際の標準偏差は他のモデルよりも小さかったため、EfficientNetの代わりにハイブリッドモデルに組み込んで実験してみても良いかもしれない

今後の予定

・カラー背景画像からの桃領域抽出
・カラー画像を追加して学習
・異なるモデルを用いての学習（MLP）
・VGG16の学習で起こるNaNの原因を探る

やったこと

・EfficientNetB3の学習・評価
・Xceptionの学習・評価

・条件
背景：黒色背景（GrabCutを用いて領域抽出済み）
桃の糖度：各側面に対応
データ数：元データ1024を拡張した10240データ
シード値：0
エポック数：48

EfficientNetB3の学習・評価

・モデルの構成
EfficientNetの上位層56 層と追加した全結合層2層、BatchNormalizationを学習。

・学習過程グラフ

・評価結果

評価関数	MAE	RMSE	R２
平均値	1.8632 ±1.6645	9.6076 ±16.4205	-64.2575 ±129.3921

Exceptionの学習・評価

・モデルの構成
Xceptionの108層以降と追加した全結合層2層、BatchNormalizationを学習。

・学習過程グラフ

・評価結果

評価関数	MAE	RMSE	R２
平均値	1.3703 ±0.0524	1.7371 ±0.0632	0.178 ±0.1569

まとめ

前回と同様、どちらも収束しなかった。
とりあえずはVGG16で起きたNaNの原因を探りつつ、ResNet50とMLPの学習を進めていく。

今後の課題

・カラー背景画像からの桃領域抽出
・カラー画像を追加して学習
・異なるモデルを用いての学習（ResNet50、MLPなど）
・VGG16の学習で起こるNaNの原因を探る

やったこと

・ハイブリッドモデルの学習の続き
・VGG16での学習（途中）

ハイブリッドモデルの学習の続き

前回と同じ条件で、シード値とエポック数に変更を加えて引き続き学習を行なった。

・条件
背景：黒色背景
桃の糖度：各側面に対応
データ数：元データ1024を拡張した10240データ

・元データ数が880の場合（シード値変更・エポック数変更）
シード値が1でも、48エポック以上ならシード値0と同様に精度は上がっていく。

エポック数72、シード値1の例

・元データ数が1024の場合（シード値変更・エポック数変更）
72エポックまで学習させたところ、シード値が0でも1でも、Validationが停滞する。

エポック数72、シード値0の例

VGG16での学習（途中）

・モデルの構成
64 ユニットの全結合層とBatchNormalizationと1 ユニット全結合層を追加。
上位層15 層と全結合層2 、BatchNormalization を学習。

・評価結果がNaN

とりあえずは他のモデルを実装して学習を進めつつ原因を探る。

今後の課題

・異なるモデルを用いての学習（EfficientNetB3、ResNet50、Xception、MLP）
・カラー背景画像からの桃領域抽出（REMBG試してみる）
・カラー画像を追加して学習

新規学習

前回に引き続き、黒色背景画像からGrabCutを用いて桃領域を抽出した画像を用いて、ハイブリッドモデルの学習を行った。
今回は10分割でクロスバリデーションを行った。

背景：黒色背景
桃の糖度：各側面に対応
データ数：元データ1024を拡張した10240データ

・学習過程グラフ

・評価結果

↓10分割クロスバリデーション

評価関数	MAE	RMSE	R２
平均値	0.9857 ±0.1372	1.3269 ±0.2485	0.4429 ±0.3246

↓4分割クロスバリデーション

評価関数	MAE	RMSE	R２
平均値	0.5862 ±0.0663	0.8512 ±0.2473	0.7399 ±0.1607

結果としてはMAEとRMSEは大きくなり、R^２は小さくなった。
黒色背景画像のみでは、10分割に対してデータが少ないと考えられる。

今後の課題

・カラー背景画像からの桃領域抽出
・カラー画像を追加して学習
・異なるモデルを用いての学習（VGG、Xceptionなど）

新規学習

黒色背景画像からGrabCutを用いて桃領域を抽出した画像を用いて、ハイブリッドモデルの学習（４分割クロスバリデーション）を行った。

背景：黒色背景
桃の糖度：各側面に対応
データ数：元データ1024を拡張した10240データ

・画像例（265px × 242px, 72dpi）

・学習過程グラフ

↓これだけval_mae, val_lossが100を超えている
　(他は10〜20程度)

・評価結果

評価関数	MAE	RMSE	R２
平均値	0.5862 ±0.0663	0.8512 ±0.2473	0.7399 ±0.1607

評価関数	MAE	RMSE	R２
平均値	0.4223	0.6249	0.8833

結果としてはMAEとRMSEがやや下がり、R^２はやや上がった。

引き続き10分割クロスバリデーションを行っていく。

今後の課題

・10分割クロスバリデーション

・カラー画像を追加して学習を行う