Inspiration
En gran parte de Latinoamérica, millones de personas en zonas rurales viven a horas de distancia del centro de salud más cercano. Sin embargo, más del 90% de esta población tiene acceso a una línea telefónica convencional o a WhatsApp. Nos inspiró la idea de transformar las herramientas que la gente ya usa todos los días en un ecosistema clínico avanzado. Queríamos democratizar el acceso a la salud, asegurando que cualquier persona —incluso sin internet de alta velocidad o alfabetización digital— pueda recibir orientación médica experta, triage de emergencias y empatía con el simple acto de hacer una llamada.
What it does
VozRural es un ecosistema de salud y telemedicina impulsado por Inteligencia Artificial, accesible totalmente mediante llamadas telefónicas y WhatsApp.
- Elena (Agente de Voz Inteligente): Dialoga de forma natural y empática con el paciente para hacer triage médico, dar seguimiento a enfermedades crónicas y evaluar urgencias.
- Botón de Emergencia IoT: Un dispositivo físico de bajo costo para hogares sin smartphones que, al presionarse, alerta al sistema y envía coordenadas GPS a los médicos.
- Dashboard para Personal Médico: Una plataforma donde los doctores pueden ver la transcripción de las llamadas en tiempo real, revisar el historial clínico semántico de los pacientes y gestionar alertas críticas.
- Enjambre de Especialistas: La IA canaliza internamente la plática a agentes de Nutrición, Pediatría (Protocolo SUIVE) o Salud Mental (PHQ-2/GAD-2) según el caso, e incluso agenda citas reales automáticamente.
How we built it
Construimos un sistema distribuido y heterogéneo para optimizar el rendimiento de cada capa:
- Telecomunicaciones y Voz: Integramos Twilio para procesar las llamadas/WhatsApp y Deepgram (Aura) para la conversión ultra rápida de Texto a Voz (TTS).
- AI Backend (FastAPI / Python): El cerebro del sistema. Implementamos una arquitectura de doble modelo. Usamos Groq (con Llama 3 y Whisper STT) para manejar la conversación en tiempo real con latencia casi nula, y en segundo plano usamos Gemini 1.5 Pro como orquestador para coordinar a los agentes médicos especializados sin hacer esperar al usuario.
- Persistencia y Memoria Semántica: Empleamos Supabase (PostgreSQL) y
pgvectorcon embeddings de HuggingFace para darle a la IA una "memoria a largo plazo" sobre el historial del paciente. - Microservicios (Java / Spring Boot): Creamos
ms_callsyms_citasen Java 17 para gestionar la lógica de negocio administrativa, usando Server-Sent Events (SSE) para actualizar el frontend. - Frontend (Angular 17+): Una PWA reactiva que sirve como estación de control clínico.
- Hardware IoT: Programamos un ESP32 en C++ (PlatformIO) usando
WiFiClientSecurepara integrar el botón físico directamente con nuestros microservicios.
Challenges we ran into
- El reto de la latencia en voz: En una llamada telefónica real, si la IA tarda en responder, el usuario asume que la llamada se cortó y cuelga. Superamos esto dividiendo el procesamiento entre modelos rápidos (Groq/Ollama) y pesados (Gemini).
- Seguridad y Zero-Liability: Evitar las "alucinaciones" médicas es de vida o muerte. Tuvimos que inyectar guardrails estrictos para asegurar que la IA jamás recete medicamentos, y que se apegue obligatoriamente a protocolos institucionales en lugar de inventar diagnósticos.
- Integración de Tecnologías: Orquestar en tiempo real un hardware en C++, dos microservicios en Java, un backend asíncrono en Python con Webhooks de Twilio, un PWA en Angular y llamadas a tres APIs de IA diferentes fue un desafío monumental de arquitectura de software.
Accomplishments that we're proud of
- Lograr una latencia de voz conversacional de $\approx$ 1.2 segundos (STT + LLM + TTS), haciendo que la IA se sienta como una persona real al otro lado de la línea.
- Construir un producto funcional de extremo a extremo que involucra Hardware, Telecomunicaciones nativas y Software Avanzado en el tiempo límite del hackaton.
- Integrar un sistema de memoria semántica vectorial que realmente permite a la IA recordar si el usuario le mencionó un dolor de estómago semanas atrás, brindando continuidad clínica real.
What we learned
Aprendimos a construir y orquestar Sistemas Multi-Agente (MAS) donde cada IA asume una responsabilidad clínica específica. Descubrimos la enorme complejidad de traducir normativas y protocolos de salud institucionales, fríos y rígidos, a un lenguaje empático y humano. Y sobre todo, aprendimos que la tecnología más poderosa no es la que requiere el mejor smartphone, sino la que sabe "bajar" y encontrarse con el usuario en los medios que él ya domina.
What's next for Voz Rural
- Soporte Dialectal: Integrar modelos de STT fine-tuned para lenguas indígenas locales, rompiendo por completo la barrera del idioma en comunidades remotas.
- IoT Autónomo: Migrar el botón de emergencia de WiFi a redes LoRaWAN o GSM de bajo consumo para comunidades que están completamente desconectadas de internet.
- Integración EHR: Conectar la base de datos de VozRural directamente con los Expedientes Clínicos Electrónicos (EHR) del sistema de salud pública nacional.
Built With
- angular.js
- arduino
- c++
- deepgram
- esp32
- fastapi
- gemini
- groq
- iot
- java
- langchain
- lenguajes
- pgvector
- postgresql
- python
- spring-boot
- supabase
- twilio
- typescript
Log in or sign up for Devpost to join the conversation.