Sankt-Traum-Stadt

Input image.
Output image generated using the input text "A big city with skyscrapers."

Team

Case

Der folgende Case des Open Data Hack St. Gallen 2022 wurde bearbeitet:

Weiterentwicklung Info-Stele am Bhf St.Gallen (Kommunikation): Wie kann eine über Touchscreen bedienbare Info-Stele weiterentwickelt und innovativ genutzt werden? Betrachtet die möglichen Bedürfnisse und Zielgruppen einer solchen Stele und seid kreativ.

Es wurde versucht, eine spielerische Lösung für die Nutzung der Info-Stele zu entwickeln. Sie soll die Nutzer aber auch auf die Wichtigkeit des Themas Stadtentwicklung und Partizipation aufmerksam machen.

Idee

Die Benutzerin kann aus verschiedenen Bildern aus der Stadt St. Gallen auswählen. Danach kann sie einen Wunsch oder eine Idee in Text formulieren und eingeben. Anschliessend wird das Inputbild entsprechend dem Text neu generiert.

Daten

Für dieses Projekt haben wir nur eine Sammlung von Bildern der Stadt St. Gallen ausgewählt und mussten - Stand jetzt - nicht auf weitere Daten zurückgreifen. Es wird ein vortrainiertes Modell verwendet, welches auf Basis öffentlicher Bilderdaten trainiert wurde. Das Modell ist OpenSource verwendbar, siehe https://github.com/CompVis/stable-diffusion

Umsetzung

Front- und Backend wurden mit Javascript erstellt. Das Inputbild und der Text werden auf einen Server geladen. Anschliessend wird der Text mit Hilfe von deepl übersetzt. Das Bild-Text-Paar wird dann als Input einem Stable Diffusion Modell übergeben, welches daraus ein Outputbild generiert.

Das Modell wird über eine API angesteuert. Dabei wird ein Modell von stability-ai verwendet, welches auf dem obigen erwähnten Modell aufbaut. Die API wird von https://replicate.com/ zur Verfügung gestellt.

Ressourcen

Ausblick

Die Bildrechte müssten noch berücksichtigt werden.
Über einen weiteren QR-Code könnte auch ein Formular für Vorschläge zum gewählten Ort (Bild) zur Verfügung gestellt werden. Diese Vorschläge könnten danach als Hintergrund der Stele durchgewechselt werden, zusammen mit dem jeweiligen generierten Bild
Auf der Startseite könnte neben dem “St. Gallen verändern” Button auch ein “St. Gallen entdecken” Button integriert werden, wo diverse Informationen interaktiv zur Verfügung stehen
Es könnten Textbausteine aus dem Partizipationsportal der Stadt vorschlagen werden.
Die Bilder könnten entsprechend aktuellen oder zukünftigen Projekten in der Stadt aktualisiert werden.
Einbau eines zusätzlichen Button "St. Gallen entdecken", bei dessen Anwahl diverse Informationen interaktiv zur Verfügung gestellt werden.