DigiTecten

WorkFlow

Idee

Wir wollen Symbole auf Bauplänen erkennen und verschiedene Funktionen wie suchen nach / zählen von Piktogrammen erlauben.

Außerdem soll der Benutzer die Möglichkeit bekommen das Modell eigenständig zu trainieren. Hierfür kann er jeden beliebigen Bereich markieren und ein Label dafür vergeben. Die Software generiert aus dem selektierten Bereich dynamische Testdaten, aktualisiert das Modell und führt anschließend die Evaluierung aus. Die Benutzer haben die Verantwortung der KI nur sinnvolle Piktogramme (Bildausschnitte) zu lernen.

Der Benutzer bekommt danach gleich Feedback durch das gelernte Model. Da es sich hierbei um eine Webanwendung handelt, sind die zusätzlich gelernten Piktogramme für alle anderen Benutzer verfügbar.

Visuelle Darstellung: Original PDF nach Zerlegung

Konzept

Unsere Erkennung läuft in mehreren Schritten. Zunächst werden interessante Bereiche identifiziert:

Der Nutzer lädt eine PDF Datei mit einem Bauplan in eine Webanwendung (webtool_backend, webtool)
Die PDF Datei wird in eine große Grafik (PNG) und in eine SVG Vektorgrafik konvertiert (Tools vorhanden 🛍) (pdf2svg, pdf2image)
Die PNG Datei wird in kleine, überlappende Segmente zerlegt und jeweils an ein zuvor trainiertes CustomVisionAI Modell gesendet (Testcode zum Trainieren unseres Modells) ![Original PDF nach Zerlegung](https://raw.githubusercontent.com/DigiTecten/DigiTecten/main/assets/uploaded_part.png
Der Nutzer bekommt eine grobe Erkennung der interessanten Elemente in der PDF Datei angezeigt (Das sieht schon ganz gut aus 🚀)

Interessante Bereiche mit ML identifiziert

Die gefunden Bereiche werden großflächig im SVG "ausgeschnitten" und für den nächsten Schritt "zurückgelegt" (Haben wir noch nicht 😕)

Die interessanten Bereiche sollen nun noch genauer klassifiziert werden. In unseren Tests hatten wir keine guten Ergebnisse mit Machinelearning für die Detailklassifikation. Die Elemente sind sich teilweise zu ähnlich. Da wir nun den Suchbereich stark eingeschränkt haben, haben wir die Möglichkeit die vorhanden Vektorgrafiken zu vergleichen: Idee (svg-diff)

Die Eingabe des svg-diff Algorithmus werden vom Nutzer in der Legende ausgewählt und vom neuronalen Netz vorgegeben (interessante Bereiche).

What it does

Erkennt Piktogramme in Bauplänen

How we built it

Wir benutzen Azure Cognitive service als ML Umgebung. Weiter nutzen wir Python, JavaScript

Challenges we ran into

Azure Cloud war für alle im Team neu. Daten waren unbekannt und mussten gesichtet werden. Danach haben wir uns für die visuelle Challange entschieden. Das trainieren des Modells und die damit verbundenen Hyperparameter zu finden. Hier hätten wir mehr zeit benötigt. Auch das die Piktogramme in den Bauplänen nicht immer einheitlich sind führt zu Problemen bei der Erkennung durch die KI. Hier müssen mehr Daten auf das Problem geschmissen werden. Da wir die Trainingsdatenerstellung maschiniert haben, können wir hier fix Anpassungen vornehmen.