ChemHack

Interfaz

Inspiration

La voz ya no es una prueba confiable de identidad en la banca telefónica. Con unos segundos de audio, cualquiera puede clonar una voz y engañar a humanos y máquinas. Quisimos proteger a los clientes que solo tienen el teléfono como canal, creando un sistema que detecte en tiempo real si la persona al otro lado de la línea es real o sintética.

What it does

Recibe una grabación telefónica estéreo (8 kHz) y devuelve si el llamante es humano o una voz generada por IA, con un nivel de confianza. Expone un endpoint HTTP que cumple el contrato del reto y funciona en pocos segundos por llamada.

How we built it

Usamos tres señales complementarias: análisis acústico con features espectrales y un modelo Wav2Vec2 ajustado con ruido telefónico; dinámica conversacional con VAD propio sobre ambos canales para medir tiempos de respuesta, interrupciones y solapamientos; y coherencia semántica con Whisper para transcribir y analizar respuestas a preguntas trampa. Un XGBoost y una fusión calibrada combinan todo.

Challenges we ran into

El dataset no traía archivos de turnos, así que implementamos nuestro propio VAD. También tuvimos que generalizar a motores de voz desconocidos y reducir la latencia del módulo semántico ejecutándolo solo cuando los otros dos módulos discrepan.

Accomplishments that we're proud of

Logramos un pipeline completo funcionando de punta a punta, con un endpoint que cumple el contrato. Usamos el canal del agente como referencia de timing y añadimos señales de comportamiento conversacional que van más allá del clásico clasificador de audio.

What we learned

La detección de deepfakes de voz no es solo un problema acústico: el comportamiento conversacional y la semántica aportan señales robustas. También aprendimos que la calibración de confianza es tan importante como la precisión.

What's next for ChemHack

Ajustar finamente el modelo con más datos, integrarlo en telefonía en tiempo real (WebSocket + SIP) y añadir un bucle de retroalimentación para que el sistema aprenda de sus errores. A futuro, un dashboard de monitoreo con alertas de drift y cumplimiento regulatorio para producción bancaria.