手話をテキストや音声に翻訳するシステムはいろいろ研究開発されていて、KinectやLeapMotionなどのモーションセンサーを用いたもの、グローブ型のウェアラブルデバイスを装用するものなどが知られています。
どのシステムも、指文字など一部の手話なら認識できるが、実用レベルには至らないようです。
プロトタイプレベルですが、新たな技術を使った手話翻訳システムがアメリカの大学で研究開発されているので、ご紹介します。
スポンサーリンク
慣性センサーと筋電センサーで手話認識
テキサス A&M大学の Roozbeh Jafari研究室とテキサス・インスツルメンツ社が共同で開発しているシステム。手話者の腕に取り付けたセンサーで手の動きを読み取り、Bluetoothでパソコンに送ってテキスト翻訳します。センサーは慣性センサーだけでなく筋電センサーも用いているのが特徴です。
加速度センサーとジャイロセンサーからなる慣性センサーは、腕時計のように手首に装着して腕や手の動きを検知。肘の近くなど前腕に貼り付けられた筋電センサー（sEMG）では指の動きも検知し、手話をより多く正確に認識できるようになっています。
筋電義手にも使われているセンサー
筋電センサーは、筋電義手にも使われている技術ですね。
[筋電義手とは]
手を動かそうとして筋肉が収縮するときに生じる微弱な電気（筋電）をセンサーで読み取り、数値化してマイクロコンピューターで制御し、モーターを介して指を動かす。
（引用元：電子制御の義手を自作 | 朝日新聞GLOBE）
今回の手話翻訳システムでも、指を動かそうとする意思は肘など腕の筋肉の動きでわかるので、グローブ型デバイスのように特殊な手袋を装着する必要はありません。手話者の負担にならない軽いウェアラブルデバイスが期待できそうです。
デモ動画はこちら。
手話を披露した後、左側のノートパソコンの画面に単語が現れます。
アメリカ手話（ASL）の"YES"は、猫まねきのようにするんですね。
"please"と"sorry"は腕の動きが非常に似ているのですが、筋電センサーによってちゃんと区別ができているのが分かります。現時点のプロトタイプモデルは、40個のASL単語を認識でき、精度は96%だそうです。
ただ、より実用レベルに近づけようとすると、顔のどの部分に手をあてたのか、顔の表情はどうなのかなど読み取る必要も出てくるので、慣性センサーと筋電センサーだけではカバーできないと思います。
手話認識技術だけに期待しないで、「手話言語条例」が続々と制定されているように、私も含め皆が手話を覚えていったほうが早いかもしれません。
- Source:
- New technology at Texas A&M could enable smart devices to recognize, interpret sign language
(Top photo courtesy of Pixabay)
