今週までにやったこと:
・他の人が撮影されたデータを使う
・長音の開発
まずは自分ではなく他の人が撮影されたデータを使用して濁音と半濁音の正解率を出してみました。
濁音:
データ①
| が | ぎ | ぐ | げ | ご | |
| 変更前のプログラム | 0/5 | 0/5 | 0/5 | 0/5 | 0/5 |
| 変更後のプログラム | 5/5 | 5/5 | 5/5 | 5/5 | 0/5 |
| が | ぎ | ぐ | げ | ご | |
| 変更前のプログラム | 0/5 | 0/5 | 0/5 | 0/5 | 0/5 |
| 変更後のプログラム | 0/5 | 0/5 | 2/5 | 0/5 | 0/5 |
| が | ぎ | ぐ | げ | ご | |
| 変更前のプログラム | 0/5 | 0/5 | 0/5 | 0/5 | 0/5 |
| 変更後のプログラム | 1/5 | 5/5 | 5/5 | 5/5 | 1/5 |
データ②に関しては手を動かすスピードが他と比べて遅く、速度の閾値の再設定が必要だとわかりました。「が」、「ご」に関してはやはり元の静的指文字の時点で誤っていることが多かったです。
半濁音:
データ①
| ぱ | ぴ | ぷ | ぺ | ぽ | |
| 変更前のプログラム | 1/5 | 0/5 | 0/5 | 0/5 | 0/5 |
| 変更後のプログラム | 5/5 | 0/5 | 2/5 | 5/5 | 1/5 |
| ぱ | ぴ | ぷ | ぺ | ぽ | |
| 変更前のプログラム | 0/5 | 0/5 | 0/5 | 0/5 | 0/5 |
| 変更後のプログラム | 0/5 | 0/5 | 0/5 | 0/5 | 0/5 |
| ぱ | ぴ | ぷ | ぺ | ぽ | |
| 変更前のプログラム | 1/5 | 1/5 | 0/5 | 2/5 | 0/5 |
| 変更後のプログラム | 5/5 | 5/5 | 2/5 | 5/5 | 2/5 |
実際にリアルタイムでカメラで判定を行う時は大丈夫ですが、今回使用しているデータのようにある程度距離がある場合、手の動きが少ないと認識結果に誤りが出ることがわかりました。さらにデータ②の「ぱ」、「ぷ」、「ぺ」は特に動き終わりの時点で手の向きが変わっていて違う文字に認識されてしまっており、このようなことがいくつかありました。
まとめると、変更後のプログラムで正解率が悪かったものは静的指文字の時点で判定が誤っているもの、手の動きがかなり遅いもの、動き終わりで向きが変わってしまっているものの3種類でした。
次に長音の開発を行っています。恩澤さんが「ひ」を認識してから処理を行うという方法を使っていたのでそれを使いながらその後の処理のところで速度やベクトルを使って認識を行おうと考えています。「の」と区別する方法は、x軸方向の人差し指の単位ベクトルの大きさを使おうと思っています。人差し指の単位ベクトルと速度は求めることができたのでこれを使って閾値等を来週までに決めたいです。
来週までにやりたいこと:
・速度に関する閾値の再設定
・長音の開発の続き、データを使って正解率を出す