音の絵

Inspiration

このプロジェクトは、音楽を聴くことができない人々が音楽を楽しむ別の方法を提供するために設計されたシステムです。

What it does

ユーザーが音楽ファイルをアップロードすると、その音楽の内容を反映した詳細な説明とイメージが生成されます。

How we built it

GoogleのVertex AIプラットフォームを使用し、Gemini-1.5-proモデルで音楽のコンテキストを分析し、イメージ生成のためのプロンプトを作成します。これらのプロンプトはImagen-3.0モデルで処理され、視覚的な表現が生成されます。システム全体はGoogle CloudのCloud Compute Engineサービスを使用してデプロイされており、リアルタイム処理においてスケーラビリティと効率性を確保しています。

Challenges we ran into

リアルタイムで音楽のコンテキストを正確に分析し、それに基づいた視覚的な表現を生成するプロセスには、大量のデータ処理と高い精度が要求されました。また、複数のAIモデルを統合し、Google Cloudのインフラストラクチャと連携させる際に、スケーラビリティやレスポンスの最適化が課題となりました。

Accomplishments that we're proud of

GeminiモデルとImagenモデルを組み合わせて音楽のコンテキストからイメージを生成するシステムを成功裏に構築できたことが大きな達成です。また、Google CloudのCloud Compute Engineを使用してスケーラブルで効率的なデプロイメントを実現できたこと。

What we learned

AIモデルを使った音楽コンテキストの解析とビジュアル生成には、処理の最適化が重要であることを学びました。特に、リアルタイム処理におけるスケーラビリティの重要性を理解し、Google Cloudを利用したシステムのデプロイにおけるベストプラクティスも習得できました。

What's next for Music2Pic

今後は、さらに多様な音楽ジャンルに対応できるようにAIモデルを調整し、生成されるビジュアルのクオリティ向上を目指します。また、視覚的な出力に加えて、音楽の感情的なニュアンスやテンポに基づいたインタラクティブな要素を導入し、ユーザー体験をさらに豊かにしていきたいと考えています。

Info For Try it out links

• username : admin
• pw : music2pic

Built With

• axios
• bootstrap
• gcp
• java
• lombok
• markdown
• react
• springboot
• typescript