今週までにやったこと:
・z座標を取得し、z軸方向の単位ベクトルを求める
・濁音、半濁音のデータを使った比較
まずはz座標を使って色々やってみました。やはり先生がおっしゃっていたようにz座標の認識はあまり良くありませんでした。ヨガの時もz座標が一番の悩みだったのでMediaPipeはz座標があまり得意ではないと思いました。なのでz座標を必要とする拗音や促音、「を」に関しては恩澤さんがやっていたように変化率を使おうかなと考えています。
次に引き続き濁音、半濁音のテストを行いました。手を動かしている中で別の文字に判定されてしまった時にエラーが出たのですがそれを修正しました(例こ→こ→こ→こ→こ→え)。
前回試した「ぎ」、「ぱ」以外のが行、ぱ行を前回と同じ5つずつ判定しました。前回の結果も含めてそれぞれの正解率を下の表にまとめました。
が | ぎ | ぐ | げ | ご | |
変更前のプログラム | 0/5 | 0/5 | 0/5 | 0/5 | 0/5 |
変更後のプログラム | 1/5 | 5/5 | 5/5 | 5/5 | 1/5 |
ぱ | ぴ | ぷ | ぺ | ぽ | |
変更前のプログラム | 1/5 | 1/5 | 0/5 | 2/5 | 0/5 |
変更後のプログラム | 5/5 | 5/5 | 2/5 ※1 | 5/5 | 2/5 ※2 |
※1については僕の手の出し方に問題があって下の動画のようになっているのでこれを正解に含めるなら4/5になります。
※2については下の動画のようになっていて「ぽ」と出るには出ますが、これを正解にしていいのか微妙だったのでこの正解率になっています。
「が」と「ご」については静的指文字の時点で判定が誤っているため、この正解率の低さになっています。
まだ他の人が撮影されたデータを使っていないので来週までにそれを試したいと思います。
来週までにやりたいこと:
・長音の開発、データを使って比較
・別の人が撮影されたデータを使って比較