今週までの進捗としてはまず、顔の向きを判定するプログラムを、作成しました。MediaPipeを用いて
顔のランドマークを取得して判定を行いました。中間発表では、両目と鼻の座標から三角形を用いて顔の向きを判定するつもりで実装してみましたがうまくいかず、試行錯誤した結果、両目の外側のランドマークの座標から目の中心の座標を求めその座標と鼻の距離を使って顔の向きを判定しています。また黒目と女の端の座標を用いて黒目の向きも判定しています。
上下の精度が悪いので改善の余地がありそうです。
行動予測に関しては、こちらもMediaPipeを用いて動画上の人の骨格を座標で取得しそれを用いてモデル作成し行動予測しました。リアルタイムでモデルを作成しつつ、行動予測しようとしたら処理が重すぎて止まってしまうので、モデルを予め作ってからにしました。モデルは作成でき書き出しができているのですが、それが読み込めないところで今は止まっています。
モデルに関してはあまりまだ詳しく調べられていませんがLSTMモデルを採用しています。
来週までにやること
エラーを解決する
必要に応じてモデルの改善
コメントを残す