HoloTone

• GIF

• 

• 

Inspiration

Mixd Reality + Blocks

BLOCKSのプロモーション動画のようなパフォーマンスを Mixd Reality で 体験ができたらどうなるのか？

What it does

BLOCKSの特徴である演奏表現の押し込みという表現を VJのエフェクトにも応用。

How I built it

Connect ROLI blocks to Max/MSP , send OSC packet to HoloLens and TouchDesigner from Max/MSP, capture Mixed reality live preview by Touch Designer .

3つのシステムを繋いだ表現。

ROLI BlocksをMax/Mspに繋いで、HoloLens(Unity)とTouchDesignerにOSCを送って画面にエフェクトを重ねています。

• Unity Project : HoloLensのアプリケーション　https://github.com/naojitaniguchi/HoloTones
• TouchDesigner toe : TouchDesignerの画面エフェクト　https://github.com/tatmos/HoloTone
• Max Project : BLOCKSの入力とOSC Sendとシンセサイズ(ドラムのトリガー、XYによるフィルター、ベースシンセ、パッド系シンセ）

Challenges I ran into

BLOCKSの演奏情報をMaxで取り込み音の再生、同時にHoloLensとTouchDesignerの映像を制御しました。

Accomplishments that I'm proud of

BLOCKSの特徴である演奏表現の押し込みという表現をMixd Reality でだしたり、 VJのエフェクトも同時にコントロールしたり といった近未来的なパフォーマンスシステムができたと思う。

What I learned

HoloLensの画面をライブ出力にエフェクトをかけることができた。

HoloLensのライブストリーミングをTouchDesignerの画面キャプチャ機能を利用しエフェクトをかけることができた。

BlocksのMaxオブジェクトが扱いやすいと感じた。

プロモーションビデオにあるようなBLOCKS接続時の表現がやりたかった。

Maxが落ちるなどバギーなところがあって今回はできなかった。

Blocks.multitouchの動作が意図したものと違った。

MaxオブジェクトBlocks.multitouchが、複数タッチ時に最後のタッチ情報しか取れない様子で 複数とれたらまた違ったエフェクトが作れるので今後のバージョンアップに期待。

What's next for HoloTone

• BLOCKSの特徴である接続時の表現をしたい。
• MixedRealityならではのエフェクト表現やサウンド演出をもっと洗練させたい。
• 最終的にBLOCKSのプロモーション動画に採用してもらえたらうれしい。