• 

  image

• 

  image

サンプル（プロダクト名）

製品概要

背景(製品開発のきっかけ、課題等）

スマートフォンの普及により、動画はどこでも気軽に楽しむことのできるメディアになった。 しかし、現状でのスマートフォンでの動画視聴・投稿サービスの課題は、次の点である。

課題1

動画を視聴する際には、動画の内容を判断できるための情報が少ない。スマートフォンでの動画視聴は、通信量を気にしなければならないが、質の良い動画を効率的に発見し、ピンポイントで楽しむことが出来ない。

課題2

動画を制作し投稿するためには、PCで編集をする必要があったり、自分の顔を写す必要があり、気軽に動画制作を行うことが出来ない。

課題3

動画を見たときの興奮や感動は、コメントやシェアで共有する以外の方法がない。

私たちは、これらの課題を解決するため、音声コメント機能と動画内容の解析機能付きの動画視聴サービスを開発した。これらの機能により、上記の課題は次のように解決される。

課題1

シーンや人物といった情報が自動的に付与されることで、動画の内容を把握しやすくなる。また、複数の動画を横断的に楽しむことができるようになる。

課題2

音声コメント機能により、これまで動画を観るだけであったユーザーも、音声の付与という形で動画制作の過程に加わり、質の高い動画を共創できる。

課題3

自分の感情を音声に吹き込むことで、自分のリアルな感情を共有することができる。また、人の加えた音声を聞くことで、動画の盛り上がりを感じることができる。

製品説明（具体的な製品の説明）

特長

1. 特長1

動画の音声解析、ディプラーニングによる顔認識を用いたシーンの検出 動画を見ていてすぐにお気に入りの人物や盛り上がっているを観たい視聴者のために、特定のシーンへのシーク機能があります。これにより、動画のハイライトを自動で生成できるため、精度の高いキュレーション、レコメンドを行うことができるようになります。

2. 特長2

音声による視聴者の感情共有 Visyでは、動画の視聴者は、自分の声や、組み込みの音声スタンプをアップします。これまでは視聴するだけであったユーザーも、音声コメントを通じて興奮や感度を共有することができます。また、他の視聴者の反応が分かるため、現実で大勢で動画を見ているときの感覚を味合うことができます。

解決出来ること

• 動画の面白いシーンだけを見たいというニーズ
• 人やシーンで動画を横断的に検索したいというニーズ
• 動画の感想を共有したいというニーズ

今後の展望

• 自作動画のアップロード機能
• 特徴1と特徴2を組み合わせることで、動画の編集を自動化し、盛り上がりポイントを押さえた動画が簡単に作れるようにする

注力したこと（こだわり等）

• ディープラーニングを用いた顔認識
• 基本的なモジュールを除いて、できる限り必要な機能を実装するようにしました。
• サーバー、アルゴリズム、フロントエンドの全てを自力で実装

開発技術

活用した技術

• 畳み込みニューラルネットワークを用いた人物識別
• 音声の波形解析による盛り上がりシーンの検出

API・データ

• Youtube API
• Google Image検索

フレームワーク・ライブラリ・モジュール

• rails
• swift
• caffe
• openCV
• pytube
• mysql
• ffmpeg
• numpy
• さくらのVPS

独自技術

ハッカソンで開発した独自機能・技術

• 顔認識技術
• 動画音声の波形解析
• 音声投稿
• 音声と動画の同期再生

製品に取り入れた研究内容（データ・ソフトウェアなど）（※アカデミック部門の場合のみ提出必須）

Built With

• python
• ruby
• swift