研究内容

研究の概要

画像・映像・3D・動き情報などのデータを用い,文字入力しなくても身の回りの情報を適切に入手できるような認識・検索・機械学習技術に関する研究に取り組んでいます.

楽しさや便利さを追求しつつ,人の役に立ち生活の質(QoL: Quality of Life)を高めるアプリ・サービスの実現を目指します.

メディア検索処理研究室 紹介映像(音声あり注意)

研究例:手話学習支援

技術ポイント:3次元・動作認識,ゲーミフィケーション

手話の一つである指文字を自主学習するアプリケーションの開発を進めています. 学習モードでは画面左側に表示される五十音とその指文字の3D CGを見て,その模倣を行います. 画面上部のモーションセンサで手指の形状や動作を取得し,画面右側にリアルタイムで表示を行うと同時に,模倣できているかどうか認識を行います. 正しく模倣できている場合には、花丸が表示されます.テストモードやゲームモードでスコアを競うことで,繰り返し学習への動機づけを行います.

指文字学習支援アプリ 動作例映像

セミナー作品例:植物図鑑

技術ポイント:画像認識、深層学習

3年セミナー後期のテーマとして,当研究室では各チームの研究テーマに基づき,アプリケーション企画から開発までを実施します. このアプリケーション「植物図鑑」は,植物に関心を持つ機会の増加を目指して作成しました.

スマートフォンのブラウザよりWebサイトにアクセスし,サイト内でクラウドサーバに対し撮影した植物の画像を送信します.サーバはその画像を用いてディープラーニング手法により植物の推定を行います. 推定結果の上位2つをWebサイトに表示し,その詳細を閲覧することができます.

植物図鑑 動作例映像

主な研究内容

上記のようなサービス・アプリケーション実現のためには

  • さまざまなデバイスでメディア情報を取得する技術
  • 取得されたメディア情報を用いて正しく認識・検索を行う技術
  • サービスとしての魅せ方や利用者への適切な提示を行う技術
  • 上記技術に基づく機能実現のためのプラットフォーム技術

などが必要となります.当研究室ではこれらの技術開発を目指し,

  • 画像・映像・3次元・動作などのメディア情報を用いた認識・検索に関する研究
  • 利用者への適切な認識・検索情報提示手法に関する研究
  • QoL向上に向けたサービス・アプリケーションとしての実現手法に関する研究

などの課題を設定して,これらの研究を進めます.