VibeStream IA

• 

  Inicio del sitio

• 

  Transcripción y traducción en vivo del demo

• 

  Overlay

Inspiración

En eventos masivos de tecnología como Nerdearla, la accesibilidad es un pilar fundamental. Con más de 30 charlas técnicas en simultáneo y oradores de todo el mundo, las herramientas comerciales tradicionales resultan costosas, dependen de configuración manual y suelen romper la jerga técnica de desarrollo de software. VibeStream AI nació para ofrecer una solución open source, liviana y escalable que permita subtitular y traducir conferencias técnicas en tiempo real sin perder contexto técnico.

Qué hace

• Transcripción y Traducción en Tiempo Real: Procesa la voz en vivo y la traduce de forma instantánea entre español e inglés.
• Preservación de Jerga IT: Ajustado mediante prompts especializados en Gemini Flash para respetar términos como Docker, Kubernetes, microservicios, CI/CD pipelines y branches.
• Arquitectura Multi-Sala: Soporte para múltiples escenarios concurrentes (Gran Sala, Auditorio, Sala Abasto, Konex en Vivo) con historial y subtítulos aislados e independientes por sala.
• Integración con OBS Studio / vMix: Incluye una ruta /overlay con fondo transparente lista para embeberse como Browser Source en transmisiones oficiales.
• Exportación .SRT: Genera archivos de subtítulos estándar sincronizados al milisegundo para subida inmediata a YouTube post-evento.

Cómo lo construí

• Frontend & Fullstack: Next.js 15 (App Router, Server Actions y Route Handlers) con React y Tailwind CSS.
• Motor de IA: Google Gemini Flash (@google/genai) con un mecanismo de fallback para garantizar latencias bajas de respuesta.
• Captura de Voz: Integración nativa con la Web Speech API del navegador.
• Sincronización: Bus reactivo local para replicar los subtítulos en tiempo real hacia los overlays de streaming.

Desafíos que enfrenté

• Límites de cuota de la API (Rate Limits): Uno de los mayores obstáculos durante el desarrollo y las pruebas intensivas fue lidiar con los límites de la capa gratuita de la API de Gemini (error 429 por cuota diaria por minuto/proyecto). Para superarlo y garantizar que la app nunca se quede congelada durante una transmisión, diseñamos un mecanismo de arquitectura resiliente con fallback inmediato (FastFallback) que toma el relevo si el modelo principal satura sus peticiones.
• Mantener la jerga técnica: Evitar que los modelos traduzcan erróneamente conceptos como "Kubernetes" o "pull request".
• Aislamiento multi-sala: Diseñar la persistencia del estado en el cliente para que el operador o asistente pueda alternar entre escenarios sin perder el historial previo.
• Latencia de streaming: Optimizar el pipeline de audio y texto para mantener tiempos de respuesta aptos para transmisiones en vivo.

Qué aprendí

Profundicé en la orquestación de llamadas multimodales con Gemini, el manejo de streams de audio nativos en el navegador y la estructuración de interfaces de accesibilidad orientadas a entornos de producción en streaming.

Qué sigue para VibeStream AI

• Soporte para más idiomas (como portugués).
• Ingesta directa de streams RTMP/HLS en el backend.
• Glosario técnico personalizable por conferencia mediante base de datos.

Built With

• accessibility
• gemini-flash
• google-gemini
• next.js
• obs-studio
• open-source
• react
• tailwind-css
• typescript
• web-speech-api