今週やったこと
YOLOのモデル精度の向上方法を調査するつもりでしたが、予定を変更してSSDモデルの使用方法やYOLOと比較した精度などを調べ、以下のサイトを参考に試験的に物体検出を行っていました。
参考サイト：pytorchで物体検出モデルSSDを簡単に使用する
次回までに以前使用した硬貨のデータセットで学習させ、速度や精度を見つつ、YOLOv5とSSDのどちらを使うかを決定しようと考えています。
来週までにやること
今週やったこと
「Deformable Part Modelを用いた変形物体領域検出に関する研究 | 富田」(平成29年)を読みました。
論文内で記述があったように、学習データにポジティブデータだけでなくネガティブデータ（対象の物体が写っていない画像）を含めることでモデルの精度が少し上がるようなので、この部分を参考に撮影する画像や学習に使用する画像を考えます。
来週やること
今週やったこと
「形状変形を許容するカメラ画像からの国旗検索に関する研究 | 西部, 福谷」(平成30年)
論文にあった国旗の認識の手法は、
同論文より、学習に使用するデータセットについては、対象の写っているサイズが統一されないように画像を用意した方が良さそうであるとわかりました。
色特徴や局所特徴についてはまだわからない部分が多いので、まずはこの2つについて調べ、物体検出に組み込めるのかどうか検討しようと考えています。
来週やること
今週やったこと
Google Colab上でYOLOv5の転移学習をしました。
最終的なmAPは0.77でしたが、実際に検出を試してみると、全体が写っている硬貨でも検出漏れがかなり目立っていました。
光の当たり方によって硬貨の色合いが変わっている場合は精度が良くなく、特に100円玉は再現率が0.65と他に比べてかなり低い数値でした。
今回は検出するクラス数に対して学習画像が少なかったことや、ウェブスクレイピングで収集した画像ということもあって学習に適した画像が少なかったこともあったので、これを踏まえて自分で適した画像を撮影するように改善します。
来週やること
今週やったこと
テーマ発表でいただいた意見や先生に相談したことを基に、大まかなに研究を進める方向を決定しました。
下記の森本研の先輩の研究を参考に形状変化に強い認識を目指します。
また、labelImgで硬貨の画像のデータセットを作成してGoogle Colabで試験的に学習を行いましたが、途中でAssertionErrorが出てその解決に時間がかかってしまったので、まだモデル作成までには至っていません。
現在はエラーを解決できたので、このまま試験的に現金を学習させていきます。
来週までにやること
今週やったこと
今週は研究計画書の作成と、YOLOv5で学習データを作成するためのツール「labelImg」のインストール・動作確認を行ないました。
参考：【labelImg：物体検出】公式READMEが当てにならない件 – Qiita
起動時のモジュールエラーなどの解決にかなり時間がかかってしまったため、まだ学習データの作成やモデルの作成自体はできてません。
次週以降、YOLOv5で独自データの学習をしていこうと考えています。
来週までにやること
今週やったこと
各物体検出の精度・速度の調査をしました。
参考サイト↓
結果としては、YOLOかSSDを使う方が良いとわかりました。(YOLOもSSDもシンプルなネットワークで構成されているので速度も出て、精度も高い)
ただ、YOLOの場合は多オブジェクトがあると精度が低くなってしまうため、試験的にお金の検出をやってみて精度を比較し、どちらのモデルを使って物体検出をするかを決定していく形になると思っています。
もう一つ、試験的にYOLOv5を使用した物体検出をしてみました。（検出に使用した動画は拾い物です）
今回使用したのはv5で、半分以上重なっていなければおおよそ検出ができているくらいの精度が出ていました。
今回はとりあえずテスト的に動かしただけなので、これから自分で紙幣や硬貨の画像を学習させて、重なっている場合でもどれだけの精度が出るのか確認しようと考えています。
次週までにやること
今週やったこと
ヒアリングを行って前回提案していた、『写真を撮って合計金額を計算するアプリ』をテーマに進める方向になりました。
そのテーマに必要な技術を調べていたところ、複数クラスの判別が可能な物体検出の技術を調べていました。
来週までにやること
下記サイト等を参考に、それぞれの技術のメリットデメリットを調査し、軽く物体検出を試してみる。
https://qiita.com/arutema47/items/8ff629a1516f7fd485f9
https://www.alpha.co.jp/blog/202108_02
今週やったこと
局所特徴とは関係ないかもしれないが、視覚障害者支援という観点から、写真を撮ってお金（現金）の合計金額を計算するアプリがあると便利かもしれないと思った。
参考サイト↓
「視覚障がい者」の切実な悩み・・・「紙幣の識別」問題についてまとめてみました。
次回までにやること
今週やったこと
ログイン機能を実装するためにFlask-loginでの実装方法を調べ、以下のサイトを参考に、DBからユーザ情報を読み取るログイン処理を試してみました。
https://creepfablic.site/2020/04/25/python-flask-flask-login/
今週と来週は就活や課題やテストでほとんど時間を取れませんが、合間でなんとか時間を確保したいと思っています。
来週までにやること