相棒テディと逝くお化け屋敷

製品概要

• VR(Virtual Reality)の技術と，奇妙な対話が楽しめる技術を活用したゲームです。
• Oculus Riftを被って，お化け屋敷を探索することができます。
• また，相棒テディと音声対話をすることができます。

〜お話〜
あなたはいつの間にかお化け屋敷に迷い込んでいました...。
近くにいるのは、変なことを言うだけの奇妙なテディベアだけ...。
ペンライト片手に，屋敷の秘密に挑戦しよう...！

背景(製品開発のきっかけ、課題等）

私達のチームは2名で開発を行っていました。
各々が持つ背景があったため、以下にそれぞれの背景を記述します。

背景１
私はこれまでに雑談対話システム分野の研究に携わってきました。 とりわけ私は，対話の満足度を向上させることを目的に研究開発を行ってきました。
その中でも，対話システムが発話の不適合の強さを加味することで，ユーモアと受容されやすい応答が一定の条件の基で選択できることがわかりました。
つまり，研究の方面ではいくつかの結果を示すことができました。

しかし一方で，対話システム自体の機能が，エンターテインメントを応用として実現されているとは言いがたい状況にあります。 未だ自然な対話をすることが難しい，という背景によるところも多くありますが，限定された範囲であっても，もっと一般的に楽しまれるようなアプリケーションが必要だと強く感じてきました． 従って，今回のハッカソンを通して，対話システムを応用したゲームを作成することで，対話システム研究分野を盛り上げることが目的です．
加えて，他のエンターテインメント分野の方にも，対話システムの可能性について紹介することを目的としました。

背景２
JPHACKS参加者の皆さんがご存知のように，近年ではゲームを筆頭として様々なエンターテインメントを目的としたサービスが出現してきています。
その中でも，VR技術は，ユーザに没入感を強烈に感じさせるため，真新しいゲームのインターフェイスとしての活用が期待されています。

とりわけOculus Riftは，3Dゲームエンジンとして有名なUnityで開発が行えるという背景もあり，VRのHMD(Head Mount Display)として人気の高いデバイスの一つです。
周辺技術がまだ安定していないにも関わらず，既に様々な人がジェットコースターやお化け屋敷，とりわけ日本では，二次元のキャラクターと会話をする、といったアプリケーションが開発されており，展示会やVR愛好者のオフ会などで楽しまれています．

それでは，なぜ日本で流行しているソーシャルゲームや，古くから楽しまれてきたパズルゲームなどを踏襲したものではないアプリケーションが，現在のVR界隈で流行っているのでしょう？
答えは既に上記で述べたように，VRに特有の没入感によるものです。
この例からも，今までとは違ったエンターテインメントの可能性が，VRにはあることが伺えます。

しかし，単にVRのHMDを被せればいいという話ではなく，ゲームデザインとして，どうすればより没入できるかは，十分に共有されていません。
どのようにゲームをデザインすれば，より没入でき，より楽しめるゲームになるのかを知りたかったため，このゲームを作成することにしました。

製品説明（具体的な製品の説明）

OculusRiftを頭部に，ヘッドフォンを耳に装着します。
プレイヤーキャラの操作は，マウスとキーボードで行います。
また，マイクが常時稼働中なので，声に出せばいつでも相棒テディと会話をすることができます。

特長

1. リラックスと緊張のゆらぎが楽しめること

HMDを用いたVRに特有の問題として，ゲームを一人でしか楽しめない環境が挙げられます。
目はVRで置き換えられ，耳はヘッドホンにより塞がれています。
その一方で，お化け屋敷のアプリでは，大抵の人がちょっとした感想についてさえも声にします、きっと少しでもリラックスしたいのでしょう。

私たちは，相棒テディにおかしな応答を行う機能を搭載することで，よりユーザをリラックスさせることを目指しました。
これにより，お化け屋敷による緊張と，対話によるリラックス効果を対照させることで，よりユーザに楽しんでもらうことを狙いました。

2. おどけた対話ができること

対話システム分野の主流が目指す，当り障りのない無難な対話を行うのではなく，おどけた対話ができることもまた，特徴として挙げられます。
なぜなら，普通に対話をするよりも，笑いが出てくるような対話が実現出来たほうが，リラックスしやすいからです。
(そしてまた特徴1に記述したように，リラックスと緊張のゆらぎが今回のアプリの特徴です)

3. お化け屋敷(ホラーゲーム)であること

VRの特徴は背景でも取り上げましたが，ホラーゲームであることもまた重要です。
例えば，他の候補としてジェットコースターがありましたが，基本的にはHMDを被っているだけであり，受動的なアプリケーションとなります。
一方で，お化け屋敷であれば，VR空間内の探索を自由に行うことができるため，より没入感が強化されるのではないかと想定しました．また，対話も自然に発生しやすくなるため，対話システムの応用としても活かしやすいゲームが制作できることを想定しました。

解決出来ること

既存のVRお化け屋敷では，ゲーム中にリラックスをすることがほとんど出来なかった。
おどけた対話を行うことで，リラックスすることができるようになり，緊張とリラックスのゆらぎを楽しめるようになる。

今後の展望

• お化け屋敷のイベントの充実
• ゲームに「お話」を設けることによる，没入感の向上
• ユーモア応答APIの精度改善
• 上記API以外の，より一般的な対話応答機能の実装

注力したこと（こだわり等）

• 敢えて一部の関連するスポンサー様の技術を活用しなかったこと

以下に記述するように，スポンサー賞よりもUX（ユーザ体験）を優先させることにしました。
例えば，SONY様はARのHMdであるSmartEyeglassをJPHACKSに提供されました。
また，NTTコミュニケーションズ様は音声認識の機能を含む，SkyWayをJPHACKSに提供されました。
私達はこれらを戦略的に使うこともできましたが，敢えて選択しませんでした。
例えばVRのHMDの代わりに，ARのHMDを活用してしまうと，VRの特有の没入感は得られません(そもそもARの強みとVRの強みは全く違います)。
また，私たちは音声認識の機能としてWebSpeechAPIを活用しました。
SkyWayにも音声認識の機能はありますが，連続音声認識の機能が含まれていないように見受けられたので，今回は使いませんでした。
もし連続音声認識ではなく，イベントごとに音声認識を行うと，ユーザの自由なタイミングでの発話が取得できなくなり，私達が想定したリラックスと恐怖のゆらぎを狙うことができず，UXを低下させてしまう事態が危惧されたためです。
以上の理由から，敢えて関連する一部のスポンサー様の技術を活用しませんでした。

開発技術

活用した技術

API・データ

• goo 形態素解析API
  • chat/src/chat/handler.clj 29行目付近
• goo固有表現抽出API
  • chat/src/chat/handler.clj 48行目付近
• ユーモア応答API(自作，今回のハッカソン期間内では開発していません)
  • また内部でtwitterのデータを活用しています

フレームワーク・ライブラリ・モジュール

• Unity5.2

デバイス

• Oculus Rift

独自技術

ハッカソンで開発した独自機能・技術

• ゲーム内で対話を行うための機能の統合
  • nodeサーバを経由した，Chromeの機能によるUnity上での連続音声認識の実現
  • VoiceTextWeb APIによる音声合成
  • 対話制御部(chat/)とのソケット通信

製品に取り入れた研究内容（データ・ソフトウェアなど）（※アカデミック部門の場合のみ提出必須）

• Humor Utterance Generation for Non-task-oriented Dialogue Systems
  • 自作のユーモア応答APIについてのプロシーディングです
  • 名詞を含む発言に対し，ユーモア応答を行う手法です
  • ユーモアの１要素である不適合の強度を，word2vecを活用した単語ベクトル空間上での単語間類似度で表現しています
  • word2vecの学習データ並びに応答手法での表現データには，Twitterのデータを活用しています

その他

研究室のサーバで今回用いたユーモア応答APIをホスティングしているため，念のためprivateリポジトリとさせていただきました。

Built With

• clojure
• unity