SkyTrace:GPS拒否でのドローン検出と位置特定

インスピレーション 🌐

GPSが利用できない倒壊した建物や災害地域での捜索救助任務を想像してみてください。ドローンは非常に貴重なツールですが、位置情報がなければその効果は妨げられます。SkyTraceは、機械学習を活用してこのギャップを埋め、空撮映像を使用してGPSが使えない環境でのドローン追跡を可能にすることを目的としたプロジェクトです。

機能 🌍

SkyTrace は、Vertex AI の最先端機能、特に Gemini ファミリーのモデルを利用して、ドローンでキャプチャされた空撮動画を処理します。ビデオフレーム内の視覚的特徴を分析することにより、システムは次のことを目的としています。

• 1.ドローンの検出: ビデオ映像内のドローンの存在を特定します。
• 2.ドローンの動きを追跡:連続したビデオフレーム全体で検出されたドローンの動きを監視します。
• 3.位置の推定:機械学習モデルを使用して、処理されたビデオデータに基づいてドローンのおおよその位置を予測します。

どのように構築した🏗️か

• 1.データ収集:重要な最初のステップには、重要な最初のステップは、さまざまな環境でドローンをフィーチャーした空中ビデオの多様なデータセットを取得することです。このデータには、さまざまな照明条件、ドローンの種類、背景が含まれます。
• 2.機械学習モデルのトレーニング: Vertex AI の Gemini モデルは、キュレーションされた動画データセットでトレーニングされます。トレーニングプロセスでは、ラベル付きのビデオフレームをモデルに供給し、各フレームにドローンの存在と位置に関する情報を提供します。
• 3.モデルのデプロイ: トレーニング済みのモデルは Vertex AI にデプロイされ、ドローンでキャプチャされた空撮ビデオ ストリームのリアルタイム処理が可能になります。

私たちが遭遇⚒️した課題

厳しい環境に対応する堅牢なナビゲーションシステムを構築するには、いくつかのハードルがありました。

• 1.データ不足:ドローン映像の包括的で多様なデータセットを取得することは、特に困難な環境において、大きなハードルとなる可能性があります。
• 2.オクルージョンと曖昧さ:ドローンは、木、建物、またはその他のオブジェクトによって部分的に隠されている可能性があり ビデオ内のオブジェクトにより、検出と位置特定が困難になります。
• 3.計算コスト: リソースに制約のあるドローンでリアルタイムのビデオ処理を実行すると、計算上の課題が生じます。

私たちが誇りに思🏆っている成果

• 1.概念実証: ビデオ分析と機械学習を使用して、制御された環境でドローンを検出および追跡する能力を成功裏に実証しました。
• 2.Vertex AI の活用: Vertex AI の強力なツールとインフラストラクチャを活用して、モデルの開発とデプロイを迅速化します。
• 3.潜在的な影響:GPSが使えない状況での堅牢なドローンナビゲーションおよび追跡システムの開発への扉を開く。

私たちが学んだ🏫こと

このプロジェクトでは、ドローンの検出とローカライゼーションのための機械学習の可能性が浮き彫りになりました。また、高品質のトレーニングデータ、効率的なアルゴリズム、データの制限に対処するための転移学習などの手法の探求の重要性も強調されました。

SkyTrace 🌐の今後の展開

• 1.モデルのリファイン: より大規模で多様なデータセットを使用して機械学習モデルをさらに改良し、実際のシナリオでの精度と堅牢性を向上させます。
• 2.ドローンシステムとの統合:SkyTraceとドローンの自動操縦の統合を検討し、ドローンが位置推定を自律ナビゲーションに活用できるようにします。
• 3.実世界テスト:制御された、最終的には実世界のGPSが使えない環境でフィールドトライアルを実施し、システムの有効性を評価します。

これらの課題を克服し、最初の成功を足掛かりに、SkyTraceはGPSが利用できない危機的な状況でのドローン運用に革命を起こす可能性を秘めています。

Built With

• data
• drone-fpv
• gemini-experimental
• github
• google-cloud
• imagery
• inference
• llm
• maps
• oss
• other
• radiant
• real-world
• sar
• satellite
• scans
• skyfi
• tools
• umbra
• vertex-ai
• visualization