手話翻訳

• 

  指文字一覧

課題と目的

聴覚障害の方にとって、現在の公的機関や銀行、病院等の窓口ではコミュニケーションの手段が乏しい状況です。大抵の場合は筆談によるコミュニケーションが選ばれますが、意思疎通の遅さや表情で伝えることができないなど、対面によるコミュニケーションとして適切な方法であるとは言えません。また、生まれつき聴覚に障害のある方にとっては、そもそも言語によるコミュニケーションが困難である場合もあります。

聴覚障害の方は手話を一般的に習得します。そのため、健常者が手話を理解することが最も円滑なコミュニケーションを取ることのできる一つの方法となります。

そこで今回は公的機関や銀行、病院等の想定で、手話を理解する仕組みを提供してバリアフリーを実現し、誰もが住みやすい社会を実現することを目的とします。そのための手段として、AI を活用します。

解決

手話には、言葉を表現する純粋な「手話」と、 1文字1文字を表現する「指文字」の2つがあります。 今回は指文字に焦点を当てて、指文字で表現された画像を Einstein AI で学習し理解できるようにします。

手話翻訳を利用すると、カメラで手話の画像キャプチャ撮り、その画像を Einstein AI が判別します。順次文字の変換を行って、最終的に一連の言葉の表現が完了次第、一つの言葉として作り上げて話者の伝えたいことを文字にするまでを提供します。

今後の展望

現時点では 50音を完全に再現するには至っておりませんが、さらにデータを蓄積すれば実現が可能だと考えています。

今回は「指文字 → 文字/音声」の変換に焦点を当てましたが、健常者が聴覚障害者へ言葉を表現するために「文字/音声→指文字」への変換もする必要があります。これは、各文字における手話画像か、音声認識の機械学習を利用すればよいため、比較的簡単に実現することができます。

健常者と聴覚障害者のスムーズなコミュニケーションを実現することで、公的機関や銀行、病院等の窓口が誰にとっても問題なく利用できるようになると信じています。

その他の利用用途

手話や指文字を学ぶ方が正しく表現できているのかを確認したり勉強したりする上でも本サービスが便利に活用できると考えています。

Built With

• einstein
• heroku
• javascript
• ruby
• sinatra
• twilio
• webrtc