Room manager

Inspiration

会議室の空予約の防止や、利用状況の管理を行うソリューションへのニーズが増加しています。

こういった課題について、現在主流となっている手法は入退出時に専用端末を利用し、ボタンを押して管理するというものです。 しかし、実際には押し忘れが発生したり、高額なソリューション提案となってしまうことが多くあります。

そこで、Einstein Visionを利用し、スマートホンとブラウザがあれば完結する在室検知アプリを試作しました。

What it does

スマートホンやPCからブラウザ経由で定期的にカメラ映像を取得します。 URL( https://room-manager-rousseau.herokuapp.com/ )にアクセスし、カメラの利用を許可。 画面内の"Capture"ボタンを押下すると、定期的(現在は100秒おき)に画像をキャプチャし、部屋に人がいるかどうかの識別モデルにかけ、利用ステータスを在室:presenceか、未利用:absenceの２ラベルに分類します。 再度"Capture"することで、現在の映像をキャプチャし結果を取得しなおします。

今回は社内にある一番小さな会議室についてのみ画像の収集を行いました。 該当する会議室での利用については時間帯や利用シーンにかかわらず非常に高い精度で認識できています。

また、それ以外の居室においても一定の精度で分類できています。 ラップトップPCなどのカメラで撮影してみると、PCの前に人がいるかどうかも検知することができます。

How I built it

自社の会議室の利用状況を撮影し、利用中と未利用の２項目に分類してデータセットを作成しました。 識別モデルはImage Classificationを利用して作成しました。

アプリケーションはherokuにデプロイし、webから利用できるようになっています。 chromeブラウザか、ios11以降のiosデバイスのsafariであればブラウザからデバイスのカメラを利用できます。

What's next for Room manager

自社製品であるsalesforceスケジューラのアドオンツール(rakumoソーシャルスケジューラー)との連携が考えられそうです。 モデルで識別した部屋のステータスを設備の予定に反映することで、会議室の利用状況の管理が可能になります。

今回作成したアプリケーションの副産物としてですが、インカメラのあるラップトップPCの前でwebアプリを起動すると、PCの前に人がいるかどうかを判別して返してくれます。感覚値ですが、それなりの精度が出ており、リモート作業時などの在席確認等に利用可能です。

また、Object Detectionによる人物検出も試したところ、悪くない精度が出ているように思いました。 バリデーションを十分に行えなえなかったことや、Image Classificationで用途に足る状態だったので活用を見送りましたが、汎化性能が必要な運用であれば人物検出による利用状態のステータス分類も考慮できます。

モデルや画像の取得方法に工夫が必要ですが、Einsteinに顔認認識が可能になれば、会議への参加者を特定して出欠確認の自動化も可能です。Object Detectionと360度カメラを活用して顔認識ができないか後日テストしてみる予定です。

Built With

• einstein
• heroku