-
-
Automatische Objekt-Annotation
Motivation
Als Computer Vision Scientist interessiere ich mich stets für Herausforderungen im Bereich Photogrammetrie und Bildanalyse. Beruflich bin ich als wissenschaftlicher Mitarbeiter tätig und beschäftige mich mit Forschung im Zusammenhang mit bildbasierter Analyse von Baustoffen wie bspw. Beton. In diesem Kontext halte ich mich auch stets auf dem laufenden, was in anderen relevanten Forschungsprojekten entwickelt und herausgefunden wird. So auch in dem Forschungsprojekt SDaC, wodurch ich auf den Hackathon aufmerksam wurde. Allein durch meinen beruflichen Hintergrund hat mich hier insbes. die visuelle Challenge von vorne herein angesprochen.
Herausforderung
Herausfordernd in dieser Challenge und in diesem Hackathon im Allgemeinen ist natürlich die begrenzte Zeit auf der einen Seite, und aber auch die initiale Ideenentwicklung auf der anderen Seite, die dadurch notwendig ist, dass die Challenges relativ breit formuliert sind.
Lösung
Die für den SDaCathon implementierte Lösung berechnet aus 2D-3D-Punktkorresponzenen, welche mittels einer eigens für den SDaCathon implementierten GUI generiert werden können, die exakte innere und äußere Orientierung jedes einzelnen Drohnenbildes. Einmalig manuell extrahierte Objekte im 3D Modell können in der Folge pixelgenau in die einzelnen Bilder projiziert werden. Es können somit pixelgenaue Segmentmasken sowie Bounding Boxen automatisch generiert werden, welche z.B. für das Training von CNNs zur semantischen Instanz-Segmentierungen oder zur Objektdetektion genutzt werden können. Dadurch wird der manuelle und zeitliche Aufwand zur Trainingsdatenannotation erheblich reduziert.
Umsetzung
Aus den angesprochenen Zeitgründen habe ich mich für Matlab als Tool zur Lösung der Challenge entschieden, da Programmieren und Debuggen hier sehr schnell möglich ist. Für eine potentielle Verwendung oder Weiterentwicklung der Software würde ich jedoch selber C++ oder Python empfehlen.
Mögliche Weiterentwicklungen
Zur automatisierten Kameraposenbestimmung empfehle ich die Verwendung von Structure from Motion (SfM) Verfahren sowie die Implementierung von Ray-Tracing Algorithmen um mögliche Objektverdeckungen im Bild zu orten.
