今週までにやったこと:
・拗音、促音、「を」の開発
・「ん」の修正
まずは拗音促音「を」の開発を行いました。これらは奥行きを使うのでz軸方向の認識が必要になります。しかしMediaPipeはz軸方向の認識があまり良くないとヨガのアプリを作った時からわかっていたので、直接z軸方向の座標を使わずに行う必要があります。そこで恩澤さんと同様に、バウンディングボックスの面積等の変化率を使って行うことにしました。バウンディングボックスの面積の変化量を使ってz軸方向の速度を求めました。（ベクトルは求められないので使用しない）方法としては、数フレームの平均の変化量と時間の差分から速度を想定します。一応、実際の距離に基づくスケーリングも行っています。
色々試しましたが、恩澤さんのやっていたこと（バウンディングボックスの面積の変化率はx、yの変化率よりも大きく、面積の変化率は-30よりも小さい）に加えて、速度を使って動き終わりも認識させる方法がいいと行きつきました。
次に「ん」の修正を行いました。どうしても処理が長くなってしまうので、「ん」の認識用の関数を作ることにしました。方法としては三段階に分けていて、まず一画目（左上から右下）をx,yそれぞれの速度ベクトルから認識する。その後もう少し下の左上から右下を認識し、最後にそこから右上を認識します。配列の中に時間、人差し指のx,y座標を入れてそこから速度ベクトルを計算しています。一つ目の処理が終わったらそこを記憶してそれ以降の配列の要素から再度速度ベクトルを計算して処理を行っています。
来週までにやりたいこと:
・既存研究紹介の準備
・データを使って確認、修正