vibeathon-transcriptor-streaming

Inspiration

En las conferencias tecnológicas masivas y eventos multilingües (como Nerdearla), seguir múltiples charlas en paralelo y garantizar una accesibilidad fluida para oradores y asistentes de diferentes idiomas es un desafío constante. Queríamos crear una herramienta open-source que resolviera esto de forma directa y en tiempo real.

What it does

Multi-Track Speech Translator & Subtitler es una solución open-source diseñada para transmitir subtítulos y traducciones sincronizadas en tiempo real, permitiendo gestionar múltiples escenarios simultáneos (como Track 1 y Track 2) en eventos y conferencias.

Transcripción de voz en vivo mediante la Web Speech API del navegador.
Traducción automática de alta velocidad integrada con la API de Gemini.
Distribución y persistencia instantánea de datos utilizando Firebase Realtime Database. ## How we built it
Frontend: HTML5 y JavaScript moderno para la captura de audio y la interfaz visual dinámica.
Base de Datos: Firebase Realtime Database estructurada por rutas dinámicas para cada sala (salas/track-1, salas/track-2).
Inteligencia Artificial: Modelos de Gemini para procesar la traducción contextual de los textos. ## Challenges we ran into Durante el desarrollo, optimizamos el flujo de eventos del navegador para filtrar duplicados de resultados parciales utilizando isFinal, asegurando que cada frase se envíe de manera limpia y única. Asimismo, configuramos la infraestructura de credenciales y facturación bajo Google Cloud. ## Accomplishments that we're proud of
Logramos una arquitectura completamente funcional en tiempo real para múltiples salas.
Superamos los límites de cuota configurando correctamente la facturación y optimizando el rendimiento de las peticiones.
Publicamos un repositorio open-source limpio y documentado con licencia MIT. ## What we learned Aprendimos a gestionar flujos de datos asíncronos en tiempo real con bases de datos en la nube y a integrar modelos de IA generativa para resolver necesidades prácticas de accesibilidad en eventos. ## What's next for vibeathon-transcriptor-streaming
Añadir soporte para selección de múltiples idiomas de destino de forma dinámica.
Incorporar capacidades de audio nativas de los modelos de Gemini para procesar flujos de voz directamente sin depender de la API del navegador.