Centinela Altur

Pantalla de Grabación
Pantalla de Test Normal
Inicial Pantalla
Pantalla de en vivo

Inspiration

La inspiración que teníamos como equipo fue que a los 4 nos gustaban 2 áreas importantes: la Inteligencia Artificial y el Hardware. Gracias a esto decidimos optar por este reto. Sin embargo, esto no es todo, puesto que los 4 considerábamos que el reto de Altur era el que iba más enfocado a lo que queríamos hacer en HackMTY.

What it does

Centinel Altur se encarga de afrontar un gran problema de seguridad actual para los bancos: la clonación de voces. Hoy en día, los operadores no tienen las herramientas necesarias para saber si la persona detrás del micrófono es una persona o una IA. Nosotros hacemos el trabajo pesado de analizar la forma, la semántica y esos pequeños patrones ocultos que nos diferencian de una IA. Además, tenemos un pequeño aparato que demuestra si la llamada es de una IA o de un humano, probando que es posible mostrar las señales fuera de una interfaz web aburrida y fácil de ignorar.

How we built it

Nos encargamos de analizar muchas formas de procesar los archivos de sonido; sin embargo, las más sobresalientes fueron XLS-R, WavLM y acústica. Estas 3 nos permitieron encontrar las mejores maneras de analizar los datos y generalizar hacia nuevas voces hechas con IA.

Challenges we ran into

Al principio no sabíamos por dónde empezar, puesto que creíamos que tal vez podría ser un problema sencillo de clasificación. Sin embargo, al ver el dataset de 353 llamadas —en el que cada una duraba mínimo 1:30— vimos que la cosa iba a ser más seria. Otro reto fue que, al iniciar el hackathon, nuestra accuracy no subía del 67% y no sabíamos qué hacer; por lo tanto, entrenamos cerca de 10 modelos con datos diferentes para poder generalizar ante nuevos casos de motores de generación de voz. Esto nos generó un enorme cuello de botella y una gran pérdida de tiempo.

Accomplishments that we're proud of

El más grande fue sacar adelante el modelo, puesto que pensábamos que iba a ser muy complicado subir la accuracy. Fue hasta que empezamos a utilizar sistemas probabilísticos que realmente nos dimos cuenta de que lo que no sabíamos era cómo atacar el problema. Otro sería sacar adelante el pequeño dispositivo, que demuestra que también puedes mostrar algo fuera de una página web.

What we learned

Uno de nosotros aprendió a usar el CLI de Antigravity, otro sobre el uso de Raspberry Pi, mientras que los otros 2 aprendimos acerca de muchos **modelos de inteligenían servir para proyectos de nuestra vida cotidiana, como lo es XLS-R.

What's next for Centinel Altur

Si en solo 30 horas logramos obtener un 100% de acmbién con 200 casos extra generados con KNN), nospreguntamos: ¿qué podríamos hacer con otras 30 horas? Quisiéramos seguir con este proyecto y llevarlo a un banco en la vida real, para observar si nuestra solución realmente es útino únicamente en el académico.