HARMONYIA

Inspiration

Me inspire porque me intereso bastante y queria presentar este caso en un CRM para immboliarias haci que quise probar herramientas que combinen el webmcp y acoplarlo a la baja adpcion del CRM para usuarios nuevos.

What it does

HARMONIYA es un agente de conversacion que para este caso de uso es gestion de leads, manejar leads es un problema estar analizando uno a uno demora con el modelo podriamos usar los filtros que expone para que un modelo de voz le hable directamente y puede ejecutar operacion de manera unida entre la ia y un asesor aparte de facilitar las tareas del asesor esto ayudaria a eliminar la baja adopcion de los usuarios en usar un crm.

How we built it

La aplicación fue construida utilizando Astro como base, integrando React para los componentes interactivos y WebMCP para exponer las capacidades del CRM mediante herramientas que pueden ser utilizadas por agentes.

Implementamos Harmony como un asistente de voz capaz de convertir la voz del usuario en texto, interpretar su intención mediante un modelo de lenguaje y utilizar las herramientas disponibles para consultar o modificar información del CRM. Finalmente, la respuesta generada es convertida nuevamente a voz mediante Text-to-Speech.

Challenges we ran into

Uno de los principales retos fue diseñar correctamente el flujo de interacción por voz: recibir el audio, transcribirlo, interpretar la intención, decidir qué herramienta utilizar, ejecutar la acción, generar una respuesta y finalmente convertirla nuevamente en audio.

Otro desafío importante fue la implementación de WebMCP y la definición de herramientas reutilizables que pudieran ser utilizadas tanto por Harmony como por otros agentes compatibles con el estándar.

Accomplishments that we're proud of

Uno de los mayores logros fue conseguir construir y conectar todo el flujo funcional en un tiempo limitado: desde la interacción por voz hasta la ejecución de acciones reales dentro del CRM.

Más allá de la implementación técnica, también estoy orgulloso de haber mantenido la constancia y el compromiso con el proyecto, dedicando tiempo y esfuerzo para convertir la idea inicial en una aplicación funcional.

What we learned

Aprendimos qué es WebMCP y cómo utilizarlo para exponer las capacidades de una aplicación mediante herramientas estandarizadas.

Esto nos permitió entender cómo podemos diseñar nuestros agentes de forma más interoperable, evitando crear integraciones diferentes para cada agente. En el futuro, nuevos agentes pueden utilizar las mismas herramientas que ya expone la aplicación, manteniendo una única capa de capacidades y reduciendo la necesidad de crear múltiples implementaciones o bifurcaciones.

What's next for Untitled

Built With

• astro
• chat
• ia
• ispeech-text-to-speech
• javascript
• llm
• react
• spech