Inspiration

Some people forget to back receivers. 昨年も今年も同時通訳音声を聞くためには専用レシーバーが必要でした。 例年の事ですが何人かがうっかり返却を忘れてしまい、回収の手間が発生していました。 またトーク開始直前に急いで会場後方のレンタルブースに向かいレシーバーを借りる場面が見られました。

As you know, we need the Simultaneous Interpretation receiver to enjoy a conference. However, we were bothered that some of the attendies brought the receiver to home every year. In addition, we saw a scene where we hurriedly headed to the rental booth behind the hall and borrowed the receiver just before the talk started.

What it does

try!Swiftアプリへの追加機能です。 手元のiPhoneでセッション同時通訳内容をほぼリアルタイムで確認することができます。

  • テキスト配信されるログ
  • 任意にon/offできるテキスト音声読み上げ オフラインでも動作します。WiFiなしでも! みんなでつながればより安定

New feature for try! Swift app! The app allow you to read the translated text almost real time.

  • Allow to Read delivered log text.
  • Allow to activate/deactivate text to speech Off course, Work on offline! NO Wifi!

How I built it

iPhone端末同士でのメッシュネットワークを構築しました。 PeerToPeer通信により相互にデータを通信します。 テキスト読み上げはSiriKitのSpeech to Textを使用しています。 We built a mesh network between iPhones. It communicates data with each other through Peer To Peer communication. Text reading aloud uses SiriKit's Speech to Text.

Challenges I ran into

PeerToPeer同時接続数の限界(8件)を超え、音声データをPeerToPeerで送受信する PeerToPeer exceeding the limit of simultaneous connection number (8 connections), send and receive voice data with PeerToPeer

Accomplishments that I'm proud of

It exceeds the limit of peer-connection PeerToPeer同時接続数の限界(8件)を超えた。 Peer To Peer exceeded the limit of simultaneous connection (8).

What I learned

  • 送信処理のQueue化による処理最適化
  • 実機によるPeerToPeer通信の通信処理にかかる遅延を確認(1〜15s)
  • Process optimization by Queue of transmission processing
  • Confirm delay on communication processing of Peer To Peer communication by real machine (1 to 15 s)

What's next for Deliver interpretation voice with iPhone

音声チャンク(10k〜20k byte)の送信自動化を検討しています。 この場合、同時通訳音声を適宜分割し送信します。 (今回はデモのため、通訳内容は事前に用意したテキストを手動送信しています)

Send audio chunk(10k〜20k byte each) over Peer connection. Then we can listen near-real-time audios without wi-fi.

Built With

Share this project:

Updates