Project name: "talkee" ~Listening with your eyes~

Objective

The purpose of this project is to facilitate conversations between deaf people and other people, in a way that is (1) easier, (2) in real-time, (3) smoother, and (4) without stress.

Problem Statements

(1) Although it is inconvenient for deaf people to communicate with other people, there are currently only a few tools aiming to solve this problem.

(2) In fact, the amount of time that it takes for deaf people to communicate fully can be considered a factor of stress for them. The feeling of being left out from the conversation and the concerns that they themselves might be a burden to the others lead to situations where it is difficult for deaf people to engage normally in conversations.

(3) Although existing tools may have successfully solved some aspects of the challenge, none of them offers a sufficiently comprehensive solution.

Features:

(1) Split-screen

You can show your text to the person talking to you while viewing it yourself, all on the same device.

(2) Text-To-Speech

Reading out inputted text

(3) Karaoke Feedback

By highlighting the parts of the text being read out loud like Karaoke, the app helps the user know which parts of the text have been and are being read out loud.

(4) Speech Recognition

Converting what the other is talking into text

(5) Surrounding Sound Sensor

Measuring the loudness of the surrounding noises to adjust the optimal text-to-speech output volume. This can help avoid the volume of text being read out being too loud in a quiet place or too low in a crowded, noisy place.

(6) Hand-drawing Support

There are situations when drawing is the better way to communicate, like drawing a map when asking for directions, etc.

(7) Commonly Used Phrases Recorder

You can record phrases that you often use and retrieve them whenever you want so that you can make communication faster.

Design

The app is designed using Flutter.

After Words

The ideas for this project are largely based on what we learned from interviews with other deaf people. Compared to other existing tools, our app is specially designed to be easy-to-use from the perspectives of deaf or hard of hearing people and we hope that it might effectively relieve the frustration and stress of daily communication for them. We also hope that the app will be useful to not only the deaf and hard of hearing community but also to those who suffer from speech disorders or having speaking difficulties, as well as to those who work in the field of healthcare and nursing.


企画名 : "talkee" ~Listening with your eyes~

・目的

ろう者が聴者との対話を①簡単に②リアルタイムで③円滑に④ストレスなくできるよう支援することを目的としている。

・問題提起

(1)聴者との日常的なコミュニケーションに不自由を感じているろう者が多い一方で、現状は対話のためのツールが少ない。

(2)中でも、聴者とのコミュニケーションに時間がかかることがストレスの要因になっている。会話に取り残される経験や、相手(聴者)にかかる負担への懸念から、気軽に会話に参加できない場面がしばしばある。

(3)既存のツールでは、ろう者のコミュニケーションにおける課題の一部は克服されていても、課題全体の網羅的な解決は十分ではない。

・機能紹介

(1)画面二分割表示

一台のスマートフォンだけで、自分で見ながら対面している人に文章を見せられます。

(2)文章読み上げ

書いた文章を音声で出力します。

(3)読み上げ箇所ハイライト

読み上げた箇所をハイライトすることで、音が聞こえなくても再生がどこまで進んでいるか目でわかります。

(4)音声文字変換

話した音声を文字に変換します。

(5)環境音センサー

周囲の音の大きさを計測して最適な再生音量を提案します。静かな場所で大音量で再生してしまうことや、賑やかな場所で相手に聞こえない音量で再生してしまうことなどを防げます。

(6)手描き機能

地図など簡単なイラストを描くことができます。

(7)フレーズ記録機能

よく使うフレーズを記録して、すぐに出せるようにします。

・設計

flutterを用いて制作している。

・あとがき

今回の企画はろう者への聞き込みを元に制作されている。既存のツールと比較して、特に「ろう者の視点に立った使いやすさ」を意識しているため、日常のコミュニケーションに対する不満やストレスをより効果的に解消できると思われる。また、ろう者だけでなく吃音など話すことが難しい方々の利用や、医療・介護の現場での活用なども期待される。

Built With

Share this project:

Updates