夏休みの期間、大学へ行き先生に指文字のプログラムの関数についての授業を受けました。

実行中の画面内にテキストを表示する場所や関数の意味、あいうえお一つ一つの指文字が規則として決められている場所と方法が分かった。

また、handlibの指文字のデータとカメラから入力された情報を常に比較し、処理フレームが10-14fpsなので1秒以内に判定した文字(10回程度)読み込んだ文字から認識結果をターミナルへ出力していることが分かった。

現在までは、あいうえおの正解画像をダウンロードし、実行中の画面内にユーザの入力文字と正解の指文字のテキストを表示させた。また、正解画像も画面内右下に表示させた。あいうえおの正解がまだ搭載されていなかったため、五十音順に正解を設定して現在使用しているプログラムで判別した文字とhandlibのデータをあいうえお順で比較し、正解を判別出来るようになりました。

指文字のあいうえおの判別で指が折れ曲がっているなどの情報の分岐で躓いたため、簡単に出来そうな正解音などを追加しました。

今後すること

指文字の入力情報を分岐させて間違っていたら画面に表示させる(予定)

handlibの指文字データを完全に理解する

-∞＋50000