Inspiration

3D Punktwolken sind heute ein wichtiger Bestandteil von BIM Modellen, zum Beispiel zur Erfassung des Bauwerksbestands. Gerade jedoch auf großen Baustellen wird die Visualisierung schnell groß und Dimensionen unübersichtlich. Dadurch ist die Interaktion mit den Daten limitiert und meist auf spezielle Computerprogramme zur Anzeige der Daten fokussiert.

Es wird erwartet, dass in Zukunft viele Prozesse in der Planung, Konstruktion und Instandhaltung anhand von BIM Daten automatisiert werden können. Wir sehen großes Potential im Matching von 2D Bildern, zum Beispiel aufgenommen vom Smartphone auf der Baustelle, mit der Punktwolke. Dadurch entsteht eine Vielzahl an neuen Anwendungsmöglichkeiten. Ein Beispiel ist es Schadensbilder von Baustellen in Echtzeit der Punktwolke hinzuzufügen um deren Ort zu dokumentieren.

Wie es funktioniert

Die Anwendungen ermöglicht es Bilddaten von Baustellen effektiv zu dokumentieren und dem BIM hinzuzufügen.

  1. Es gibt eine Datenbank mit Punktwolken von Baustellen
  2. Aufgenommene Fotos von Mitarbeitern vor Ort, können in die Applikation (Webapp, später auch mobil möglich) geladen werden.
  3. Anhand der Geodaten der Bilder wird das Bild zuerst einer Baustelle in der Datenbank zugeordnet
  4. Das Bild wird mit der Punktwolke verglichen und lokalisiert
  5. Noch nicht implementiert: Die genaue Position, sowie der Winkel der Kamera bei Aufnahme wird bestimmt Dadurch sind die auf Bildern enthaltenen Information dem BIM zugeordnet und stehen spezifisch für weitere Vorgänge bereit. Dies könnten Reparatur Maßnahmen sein, Qualitätsinformationen für zukünftige Projekte oder zukünftigen Instanthaltungen.

Wie wir es gebaut haben

Zur prototypischen Realisierung der Anwendung wurde Python verwendet. Die einzelnen Komponenten wurden in separaten Skripten und Notebooks entwickelt. Um daraus eine Demo zu erstellen, wurde mit der Plattform streamlit.io eine Webapp erstellt.

Für die Realisierung der Webapp wurde Streamlit verwendet.

Herausforderrungen, auf die wir gestoßen sind

Früh stellten wir fest, dass das Matching von 2D Bilder auf 3D Daten um Kamerawinkel und genaue Lokalisation des 2D Bilds die größte Herausforderung des Projekts ist. Dieses Thema ist eine relevante Forschungsfrage im Bereich Computer Vision und der Photogrammmetrie und praktisch sind industrielle Anwendungen nicht existent.

Erfolge, auf die wir stolz sind

Trotz der frühen Erkenntnis über die enormen Schwierigkeit von Wissenschaft und Forschung im Bereich des Matchings der 2D Daten auf die Punktwolke, entschieden wir uns trotzdem bei der Idee zu bleiben. Wir sind sehr stolz darauf, eine Infrastruktur zu bauen, welche es ermöglicht mithilfe von SIFT Matching die 2D Bild mit den Punktwolken zu vergleichen.

Was wir gelernt haben

Die Lösung dieses Problems 2D Daten auf 3D Daten zu matchen scheint ein nicht nur in der Bauwirtschaft ein ungelöstes Problem zu sein. Leider und natürlich war es nicht möglich, ein solches Problem in einem 48h Hackathon zu lösen, aber wir haben einige praktische Ideen gewonnen wie wir weiter machen könnten. So scheint ein Ansatz mit „global contextual information“ zu höheren Trefferquoten zu führen, wobei hier keine ausreichende Datengrundlage vorhanden war. Persönlich hatten wir viel Spaß schnelle Tools auszuprobieren um unsere Ergebnisse zu präsentieren, von Streamlit für die Webapp, über das Meshroom framework bis hin zu Crello für unser das Logo.

Was kommt als nächstes für Match Me!

Wir sind sehr interessiert an dem Feedback der Jury zu unserer Idee und unserem Code. Weiterhin möchten wir in dieser Richtung weiterarbeiten und ein kommerzielles Produkt erstellen. Wir freuen uns auf den Austausch mit den Unternehmen welche die Challenge ausgegeben und und Unternehmen welche in diesem Bereich arbeiten und forschen.

Built With

Share this project:

Updates