Inspiration

En gran parte de Latinoamérica, millones de personas en zonas rurales viven a horas de distancia del centro de salud más cercano. Sin embargo, más del 90% de esta población tiene acceso a una línea telefónica convencional o a WhatsApp. Nos inspiró la idea de transformar las herramientas que la gente ya usa todos los días en un ecosistema clínico avanzado. Queríamos democratizar el acceso a la salud, asegurando que cualquier persona —incluso sin internet de alta velocidad o alfabetización digital— pueda recibir orientación médica experta, triage de emergencias y empatía con el simple acto de hacer una llamada.

What it does

VozRural es un ecosistema de salud y telemedicina impulsado por Inteligencia Artificial, accesible totalmente mediante llamadas telefónicas y WhatsApp.

  1. Elena (Agente de Voz Inteligente): Dialoga de forma natural y empática con el paciente para hacer triage médico, dar seguimiento a enfermedades crónicas y evaluar urgencias.
  2. Botón de Emergencia IoT: Un dispositivo físico de bajo costo para hogares sin smartphones que, al presionarse, alerta al sistema y envía coordenadas GPS a los médicos.
  3. Dashboard para Personal Médico: Una plataforma donde los doctores pueden ver la transcripción de las llamadas en tiempo real, revisar el historial clínico semántico de los pacientes y gestionar alertas críticas.
  4. Enjambre de Especialistas: La IA canaliza internamente la plática a agentes de Nutrición, Pediatría (Protocolo SUIVE) o Salud Mental (PHQ-2/GAD-2) según el caso, e incluso agenda citas reales automáticamente.

How we built it

Construimos un sistema distribuido y heterogéneo para optimizar el rendimiento de cada capa:

  • Telecomunicaciones y Voz: Integramos Twilio para procesar las llamadas/WhatsApp y Deepgram (Aura) para la conversión ultra rápida de Texto a Voz (TTS).
  • AI Backend (FastAPI / Python): El cerebro del sistema. Implementamos una arquitectura de doble modelo. Usamos Groq (con Llama 3 y Whisper STT) para manejar la conversación en tiempo real con latencia casi nula, y en segundo plano usamos Gemini 1.5 Pro como orquestador para coordinar a los agentes médicos especializados sin hacer esperar al usuario.
  • Persistencia y Memoria Semántica: Empleamos Supabase (PostgreSQL) y pgvector con embeddings de HuggingFace para darle a la IA una "memoria a largo plazo" sobre el historial del paciente.
  • Microservicios (Java / Spring Boot): Creamos ms_calls y ms_citas en Java 17 para gestionar la lógica de negocio administrativa, usando Server-Sent Events (SSE) para actualizar el frontend.
  • Frontend (Angular 17+): Una PWA reactiva que sirve como estación de control clínico.
  • Hardware IoT: Programamos un ESP32 en C++ (PlatformIO) usando WiFiClientSecure para integrar el botón físico directamente con nuestros microservicios.

Challenges we ran into

  • El reto de la latencia en voz: En una llamada telefónica real, si la IA tarda en responder, el usuario asume que la llamada se cortó y cuelga. Superamos esto dividiendo el procesamiento entre modelos rápidos (Groq/Ollama) y pesados (Gemini).
  • Seguridad y Zero-Liability: Evitar las "alucinaciones" médicas es de vida o muerte. Tuvimos que inyectar guardrails estrictos para asegurar que la IA jamás recete medicamentos, y que se apegue obligatoriamente a protocolos institucionales en lugar de inventar diagnósticos.
  • Integración de Tecnologías: Orquestar en tiempo real un hardware en C++, dos microservicios en Java, un backend asíncrono en Python con Webhooks de Twilio, un PWA en Angular y llamadas a tres APIs de IA diferentes fue un desafío monumental de arquitectura de software.

Accomplishments that we're proud of

  • Lograr una latencia de voz conversacional de $\approx$ 1.2 segundos (STT + LLM + TTS), haciendo que la IA se sienta como una persona real al otro lado de la línea.
  • Construir un producto funcional de extremo a extremo que involucra Hardware, Telecomunicaciones nativas y Software Avanzado en el tiempo límite del hackaton.
  • Integrar un sistema de memoria semántica vectorial que realmente permite a la IA recordar si el usuario le mencionó un dolor de estómago semanas atrás, brindando continuidad clínica real.

What we learned

Aprendimos a construir y orquestar Sistemas Multi-Agente (MAS) donde cada IA asume una responsabilidad clínica específica. Descubrimos la enorme complejidad de traducir normativas y protocolos de salud institucionales, fríos y rígidos, a un lenguaje empático y humano. Y sobre todo, aprendimos que la tecnología más poderosa no es la que requiere el mejor smartphone, sino la que sabe "bajar" y encontrarse con el usuario en los medios que él ya domina.

What's next for Voz Rural

  1. Soporte Dialectal: Integrar modelos de STT fine-tuned para lenguas indígenas locales, rompiendo por completo la barrera del idioma en comunidades remotas.
  2. IoT Autónomo: Migrar el botón de emergencia de WiFi a redes LoRaWAN o GSM de bajo consumo para comunidades que están completamente desconectadas de internet.
  3. Integración EHR: Conectar la base de datos de VozRural directamente con los Expedientes Clínicos Electrónicos (EHR) del sistema de salud pública nacional.

Built With

Share this project:

Updates

Submission history