マイクロソフトのジェスチャー認識センサーKinectを使った障がい者支援技術といえば、東大と共同開発した「OAK（オーク）」があります。キーボードやマウスの代わりに、肢体不自由者の手や頭の動きを検出してパソコンを動かすという応用技術です。
Kinectに関しては現在、より高度なジェスチャー認識センサーも開発されていて、手話の翻訳に応用できることが期待されています。
スポンサーリンク
マイクロソフトが開発中の新しいジェスチャー認識技術「Handpose」
こちらもKinectセンサーを使いますが、Handposeでは手指の細かな動きもトラッキングできるそうです。デモンストレーション動画を見てみても、手指の複雑な動きをタイムラグなしで完全に再現できています。
暗い部屋やセンサーから少し離れていてもトラッキング可能です。他社のジェスチャー認識センサーは数十センチ以内の範囲でないと認識できないものがありますが、Kinectは数メートル離れていても使えるようです。
ちなみに動画では全員サングラスをしていますが、特に意味はないとか。
手話翻訳システムとして使えるかも？
手話翻訳システムと言えば、MotionSavvyの「UNI」があります。手話を音声に翻訳したり音声をテキスト化したりする、聴覚障がい者と聴者とのコミュニケーションツールです。クラウドファンディングサイト Indiegogoで資金調達に成功したようで、2015年中に製品化となっています。
UNIは LeapMotionセンサーを使っているので認識精度は高いですが距離は広くなく、MotionSavvyサイトの動画を見てみても、手首から先のジェスチャーだけのようで、頭に手を置いたりするような手話は認識できないのではないかと思います。
Handposeはその点、全身の動きを認識できそうで、指文字だけでなく顔の表情も含めた手話を翻訳できるかもしれません。
ただ製品化となると、いろいろな人のアナログな手話の動きをデジタルに落とし込むことの難しさがあります。また、手話辞書と言いますか、手話の動きと言葉の対応付けに時間と労力が必要になるかもしれません。難題が多そうですが、Handpose技術をxboxゲームだけでなく手話翻訳にもぜひ活かしてもらいたいと思います。
(Top photo courtesy of Pixabay)
