INCLUSIFY - Individualsierter Sprach Adapter

Inspiration

Die INCLUSIFY AG engagiert sich im Bereich "Software die das leben verbessert". Wir können den kompletten Lebenszyklus von Software abbilden und beraten im Bereich _ inclusive design _. Im Kontakt mit der „Aktion Mensch“ und einigen Menschen mit Behinderung hat sich herausgestellt, dass Sprachassistenten nur nutzbar sind wenn man ohne große Einschränkungen sprechen kann. Aber gerade Menschen mit Behinderung würden vom nutzen der günstigen und weit verbreiteten Dienste wie Google Assistant oder Amazon Alexa stark profitieren.

Was macht es

Der Prototyp ersetzt die normale _ Speech to Text _ Funktionalität von Google Assistant mit einem an den Benutzer oder die Benutzergruppe anpassbaren Modell. Danach schickt er die Spracheingabe als Text an den Google Assistant und erlaubt somit die Interaktion mit allen Assistants die registriert sind. Somit kann eine Übersetzung für latente wie situative Sprachbehinderungen VOR dem properitären System erfolgen.

Was ich getan habe

1. Devicemodel und Device in der Google Console registrieren
2. .net Code aus den Google protocol buffers Definitionen generieren
3. Interaktion mit Google Assistant programmiert
4. Spracheingabe und Speech to Text mit eigenem Modell implementiert
5. Den erkanntent Text an den Google Assistant übergeben

Herausforderungen

• Für .net Core ist kein SDK verfügbar.
• Die Dokumentation für den Google Assistant Service ist außerhalb von Python recht dürftig.
• Auswahl der Programmiersprache: Es war keine optimale Sprache verfügbar; Google Assitant SDK, Azure Custom Speech SDK oder Zugriff auf die Soundkarte. Eins war immer problematisch

Erreichtes Ziel

Ich habe das Szenario komplett abbilden können. Spracheingabe --> STT mittels eigenes Modell --> Request an Google --> Response von Google --> Sprachausgagbe

What I learned

Einiges über Security und Authentifizierung im Bereich Google. Protocol Buffers in .net. Conversational UI Pitching

Was kommt als nächstes für INCLUSIFY - Individualsierter Sprach Adapter

In den nächsten Monaten werden wir mit der Humboldt Universität in Berlin, dem inklusiven Coworkingspace Tuechtig und einigen Inklusionsberatern an der Verbesserung der Modelle arbeiten. Wenn die Modelle trainiert und validiert sind, werden wir die Funktionalität als App veröffentlichen und B2B-Partner suchen, die den Sprach Adapter in ihren Anwendungsfall integrieren. Mit steigender Nutzerzahl werden die Modelle besser und vielfältiger werden. Langfristig ist auch eigene Hardware geplant, die auch den Anforderungen von Pflegeeinrichtungen erfüllen wird.

Built With

• .net-core
• azure-custom-speech
• google-assistant-service