やったこと
・黒色背景画像からの桃領域の抽出
・新規学習
・黒色背景画像からの桃領域の抽出
黒色背景画像からGrabCutを用いて桃領域を抽出し、背景を黒色で塗りつぶしました。
画像サイズは、265 × 242です（それぞれ最小値に縮小し、アスペクト比は考慮しない）。
・新規学習
黒色背景画像からGrabCutを用いて桃領域を抽出した画像を用いて、ハイブリッドモデルの学習（４分割クロスバリデーション）を行った。
| 評価関数 | MAE | RMSE | R２ |
|---|---|---|---|
| 平均値 | 1.2310 ±0.1209 | 1.5911 ±0.2273 | -0.04303 ±0.3569 |
学習過程にはムラがある。
val_maeとval_lossが下がりが悪いことから、やや過学習の傾向があると考えられる。
今後の課題
・カラー画像から桃領域を抽出して学習を行う
やったこと
・GrabCutのロバスト性確認
複数の桃が表示されている画像に対して、GrabCutを用いてどの程度桃領域が抽出できるかを実験しました。
枠線を設定しない場合
枠線を設定した場合
実際の売り場に桃画像を合成した場面などを用意して、もう少し実験を続ける。
今後の課題
・自動で桃の外枠を設定してGrabCutを行えるか確認
ー 難しそうなら手動で枠線を設定してファインチューニング用のデータを先に作成
・AWSアカウントの移行
やったこと
・桃の領域抽出
前景矩形を画像サイズに設定してGrabCutを試しました。
ある程度は桃の矩形領域を指定しないと、領域抽出はむずかしそうです。
今後の予定
・AWSアカウントの移行
・領域抽出の続き(grabCutのロバスト性を確かめる)
・DCONの原稿修正
やったこと
DCON原稿の第一稿を完成させました。
そろそろAWSアカウントの移行作業を開始したいと思います。個人利用枠でアカウントを作成します。
今後の予定
・AWSのアカウント移行
・桃の領域抽出の続き
・DCONの原稿作成
やったこと
桃の領域抽出の続きを行った。
エッジを用いた抽出
手順
手順に変更を加えつつ、各パラメータを調整していく。
GrabCutを用いた抽出
手順
キャップがある場合はほとんど正しく抽出できている。
矩形内に影が存在する場合は影ごと全景として処理されるため、工夫が必要。
現在は矩形を数値で指定しているため、自動で桃の矩形抽出ができるように改良を行なっていく。
今後の課題
・桃の領域抽出（続き）
・DCCの原稿（あと半分ほど）
やったこと
・桃の領域抽出
ー 今までの方法でどれだけ正確に抽出できているかの確認
桃の領域抽出
・手順
↓うまくいってないパターン
↓うまくいっているパターン
正しく抽出できているのは現状1割ほどのため、調整をするとともに他の方法を考える必要がある。
今後の課題
・桃の領域抽出手法を考える
・アプリの改善
・(AWSのアカウント移行)
やったこと
・DCCのプレゼン資料作成
・アプリのユーザビリティ評価
DCCのプレゼン資料
明日に向けて予備資料を追加して発表練習を行います。
アプリのユーザビリティ評価
糖度推定アプリケーションのユーザビリティ評価を行いました。
愛工大の学生計7名にアプリを操作してもらい、アンケート調査を行いました。アンケートはGoogleフォーム作成しました。
・アンケート項目
ー ホーム画面のデザイン・ボタンの操作
ー 写真撮影のしやすさ
ートリミングのしやすさ
ー処理速度
ー結果画面の分かりやすさ
ー欲しい機能(自由記述)
ー感想(自由記述)
桃を撮影するという文字の部分がボタンではないかと思ってしまった
撮影段階で桃を収める目安があっても良いと思いました
感想：トリミングの仕方(どのくらいトリミングすればいいのか等)に説明がないのが少し分かりにくかった。
欲しい機能(自由記述)
・使い方の説明画面
・自動トリミング機能
・トリミング画面の項目の説明
・トリミングの目安
・糖度の高いももの見分け方を教えてほしい
感想
・桃のポリゴン部分が何を表しているかが少し分かりにくかった
・トリミングをした後の処理の時間にカメラが動いていたのが少し気になった
今後はいただいた感想をもとに改善を行なっていきます。
また、ユーザビリティ評価の項目も改善を行います。
今後の予定
・桃の領域のみ抽出する方法を考える
ー まずは今までのプログラムを調整する
・アプリの改善
やったこと
・ファインチューニングの続き
・DCCのプレゼン資料作成（未完成）
ファインチューニングの続き
・今年度に採取したデータを追加してファインチューニング
・条件は今までと同じ
(糖度は平均値・各桃がtrain, test, validationで混ざらないように)
・黒色背景8800データ、カラー背景14400+28800データの計52000データ
・24epoch、8分割でクロスバリデーション
・評価結果
| モデル | MAE | RMSE | R２ |
|---|---|---|---|
| ハイブリッドモデル | 1.598 | 2.1448 | 0.2237 |
・学習過程グラフ
過学習しているため、学習データに変更を加えるなどの工夫が必要。今後は桃の領域のみを抽出した画像とヒストグラムを作成する予定。
今後の課題
・プレゼン資料を完成させる
・アプリのユーザビリティ評価について
ー 来週一度行って、プレゼン資料に組み込みたい
・桃の領域のみ抽出する方法を考える
ー まずは現状のプログラムを調整してみる
やったこと
・アプリの処理速度改善
・データを追加してファインチューニング
アプリの処理速度改善
糖度推定サーバーでのモデルの読み込み位置を修正したところ、処理速度(画像をアップロードしてから推定糖度が表示されるまで)が3.3秒ほどに改善しました。
データを追加してファインチューニング
今年度に採取したデータを追加してファインチューニングを行なっています。データやプログラムに間違いがないかを確認しつつ進めていきます。
今後の予定
・学会発表の原稿修正
・アプリのユーザビリティ評価の項目を考える
・桃の領域抽出の方法を考える
やったこと
・学会発表の原稿
・データの準備
データの準備
プログラムがメモリ不足でクラッシュしてしまう問題が解決できず、現在はファイルを分けて画像の拡張とヒストグラムの抽出を行なっています。
データ拡張とヒストグラム抽出のプログラムは来年も使う予定なので、一度先生に相談したいと思います。
今後の予定
・アプリの処理速度改善(モデルの読み込み)
・桃の領域のみ抽出する方法を考える