Emotional score

画像をAIが分析し、喜び・悲しみ・怒り・驚きの感情を100点満点で点数化します。 また、詳細な評価結果を、音声出力することができます。 ぜひ、お気軽に利用ください。 ∴デモ動画で利用している写真は全て無料素材です。

Comment

Inspiration

  • 別のプロジェクトで電車の利用促進について考える機会があった。利用促進のイベントの評価をAIでできれば便利と考え、開発した。

What it does

  • ユーザーがアップロードした画像をVision AIで分析する。
  • 画像の顔の部分を赤い四角で特定し、分析結果をレスポンスする。また、データをスプレッドシートへ自動保存する。
  • 分析結果をgemini-1.5-flash apiで評価する。
  • 評価結果を、四国めたん・ずんだもん・春日部つむぎの音声で出力することができる。
  • 分析結果から、喜び・悲しみ・怒り・驚きの感情を100点満点で点数化する。
  • 分析結果は人間では理解することが困難な大量のデータがレスポンスされるため、gemini-1.5-flash apiでその内容を評価してもらうことで、画像の全体的な印象を簡単に理解することができる。

How we built it

  • ChatGPTと相談しながら、GASとHTMLのコードを構築した。

Challenges we ran into

  • 画像の表示・アノテーション画像の表示・顔位置を特定する赤い四角の表示は、正しく表示されるまで100回以上、コードを書き直した。特に画像は様々な大きさのものがあるため、どんな大きさでも正しく表示されるように調整することは、苦労した。
  • 当プロジェクトはGAS（Google app script）上で開発していたが、最終的にホームページ化しようとした際にCORS（クロスオリジンリソース共有）の問題が発生し、当初の想定通りの公開ができなくなった。試行錯誤した結果、最終的にはGoogle サイトでホームページ化できて、本当によかった。

Accomplishments that we're proud of

  • WEB上の画面の表示に苦労したので、正しく表示されたときはうれしかった。

What we learned

  • ChatGPTと相談しながら、粘り強く取り組めば、一からコードを書いたWebプロジェクトが作れることを学んだ。

What's next for Emotional score

  • 画像の分析で取得した大量のデータから、顧客のイベントに対する評価を明確化・数値化していく。
  • labels列・texts列とsafeSearch列の情報の相関をしらべることで、危険や問題が発生しやすいlabels、textsを抽出していき、今後の危険発生を防ぐ。
  • 例として、通勤時の駅のホームの混雑状況や電車内の混雑状況に関する画像を取得して混雑回避や危険察知をする等、実生活で有効なサービスへつなげていきたい。

Built With

Share this project:

Updates