Inspiration
- テレビドラマ「アクマゲーム」で「AIおろち」というAIが出ており、スマホ上でアニメーションしながら、リアルタイムで会話できるAIにとても魅力を感じた。ぜひ自分でも同様のものを開発してみたいと考えた。
What it does
- ユーザーからの音声リクエストに対し、あいづちとフル回答の非同期処理を構築することで、AIによる迅速で自然な音声レスポンスを実現した。
- また、テキスト入力によるリクエストに対しても、非同期処理を利用することで、AIによる迅速で自然な音声レスポンスを実現している。
- なお、本アプリケーションの動作は、ネットワークの通信環境等に大きく依存するため、なるべく良好な通信環境のみで利用していただきたい。
How we built it
- ChatGPTと相談しながら、GASとHTMLのコードを構築した。
Challenges we ran into
- 非同期処理の部分の動きはなかなかうまくいかず、100回以上、コードを書き直した。迅速で自然な音声レスポンスを構築する部分は本当に苦労した。
Accomplishments that we're proud of
- 非同期処理によるあいづちからフル回答の音声回答がシームレスに動いたときは、本当にうれしかった。また、えもふりも初めて使ったため、操作に苦労したが、細やかなアニメーションが作れて本当にうれしく感じる。
What we learned
- ChatGPTと相談しながら、粘り強く取り組めば、一からコードを書いたWebプロジェクトが作れることを学んだ。
What's next for 東北ずん子に質問!
- 生成AIに特定の事前知識を与えることで、音声による質問応答を実現し、ビジネス活用を図る(例:ショッピングセンターの店舗の情報を与えることで、AIによるリアルタイム音声店舗案内を実現)。
- 収益化により、有料のAPI導入やアニメーションの種類を増加したい(声を有料の東北ずん子にしたい)。
- 東北ずん子以外のキャラクターについても、同様の仕組みを利用していきたい。
Built With
- cloudrun
- gemini
- github
- google-drive
- html
- speechtotext
- tts




Log in or sign up for Devpost to join the conversation.