Inspiration

Los estudiantes sordos que usan la Lengua de Señas Mexicana (LSM) muchas veces no pueden participar en clase en igualdad de condiciones. Para preguntar, exponer o convivir con compañeros y docentes oyentes suelen depender de un intérprete, y los intérpretes son escasos, costosos y rara vez están disponibles de forma permanente. Según el Censo 2020, cerca de 1.35 millones de personas en México tienen mucha dificultad para oír; 112,607 viven en Baja California y 33,244 en Mexicali, donde estudiamos. Además, la mayoría de las herramientas de traducción de señas están hechas para la Lengua de Señas Americana (ASL), traducen del español a señas o solo reconocen señas aisladas.

What it does

SignCast traduce la LSM a texto y voz en tiempo real. Es una aplicación web progresiva (PWA) que corre en Safari en un iPhone, se instala en la pantalla de inicio y funciona sin internet después de la primera carga. El reconocimiento ocurre en el propio dispositivo, así que el video nunca sale del teléfono. Reconoce 27 señas del aula (HOLA, MAESTRO, TAREA, EXAMEN, ENTENDER, etc.), las 27 letras del alfabeto dactilológico y arma 13 frases en español, como "¿Puede repetir, por favor?", que muestra como subtítulos y lee en voz alta.

How we built it

  1. Vocabulario y datos: Combinamos el conjunto público de LSM de CICESE (89,523 ejemplos estáticos y 621 videos de las seis letras con movimiento) con grabaciones propias: cada una de las tres integrantes grabó todas las señas, letras, frases y una clase de "reposo" (2,505 tomas en total).
  2. Puntos clave: MediaPipe extrae los puntos de manos, pose y rostro. Cada cuadro se convierte en un vector de

$$ 90 \text{ puntos} \times 3 \text{ coordenadas } (x, y, z) = 270 \text{ valores,} $$

centrado en los hombros y escalado por la distancia entre ellos, para que no importe dónde está la persona. Trabajar con puntos en lugar de píxeles también protege la privacidad.

  1. Modelos: Una ventana de 30 cuadros, entra a un Transformer para las señas (lo comparamos con un LSTM), y un MLP clasifica las letras estáticas. Usamos aumento de datos: rotación, escala, ruido, cambio de velocidad y espejo.
  2. Construcción de frases: La gramática de la LSM es distinta a la del español (por ejemplo, "ENTENDER NO" significa "no entiendo"), así que un decisor acepta solo las señas estables y reglas gramaticales convierten las glosas en oraciones naturales.
  3. Aplicación: Flutter web publicada en Firebase Hosting. El modelo corre en el navegador con LiteRT.js y los modelos nuevos se descargan sin reinstalar la app. La voz es la del navegador en español de México.

Evaluamos con

$$ \text{Exactitud} = \frac{\text{predicciones correctas}}{\text{total de predicciones}}, \qquad F_1 = \frac{2 \cdot P \cdot R}{P + R}, $$

primero dejando fuera del entrenamiento a una integrante del equipo en cada experimento, y después en una prueba real con una persona externa al equipo, cuyas grabaciones nunca se usaron para entrenar.

Resultados

Métrica Meta Resultado
Exactitud en el alfabeto 85% 94.5 % en experimentos, 88.9 % en aula
Exactitud en señas aisladas (persona nueva) 85% 70.5 % en experimentos, 81.5 % en aula (no se cumple)
Frases continuas correctas 80% 92.3 %
Latencia (iPhone 14 Pro) < 500 ms 412 ms en promedio (541 ms máximo)
Usabilidad (SUS) 68 85.6

El Transformer superó al LSTM (0.705 contra 0.629 de exactitud promedio) con un modelo más pequeño y el doble de rápido, por eso es el que usa la app.

Challenges we ran into

  • Pocos firmantes. El conjunto público solo cubre el alfabeto, así que las 27 señas del aula se aprendieron de solo tres personas. Con una persona nueva el modelo acierta cerca de 7 de cada 10 señas, por debajo de nuestra meta de 85 %. El aumento de datos ayudó (de 0.43 a 0.53 con el LSTM), pero no sustituye a más firmantes.
  • Limitaciones de hardware. Todo el equipo usa iPhone y nadie tiene una Mac, así que no pudimos compilar la app nativa que planeábamos. Cambiamos a una PWA que corre en Safari.
  • Presupuesto. En lugar de servicios de nube de paga, compartimos los datos en Google Drive, entrenamos en nuestras computadoras, y distribuimos el modelo con Firebase.
  • Latencia. La mayor parte no viene del cómputo (el modelo tarda 2 ms y MediaPipe 31 ms), sino del decisor, que espera predicciones estables para evitar falsos positivos.

Accomplishments that we're proud of

Un prototipo funcional de principio a fin que traduce LSM a subtítulos y voz, sin internet y sin que el video salga del teléfono. En la prueba en aula tradujo correctamente 12 de 13 frases y obtuvo 85.6 puntos de usabilidad.

What we learned

  • La visión por computadora basada en puntos clave permite modelos ligeros y privados que corren en el navegador de un teléfono.
  • La diversidad de los datos limita más los resultados que la elección del modelo: el número de firmantes pesó más que la arquitectura.
  • Evaluar con una persona que el modelo nunca vio es mucho más exigente que hacerlo con grabaciones de personas con las que entrenó, y muestra la distancia real entre una demo y una herramienta usable.
  • Es necesaria la adaptación a restricciones reales (dispositivos, presupuesto, tiempo).

What's next for SignCast

  • Grabar más firmantes, empezando por las señas que más fallaron (J, K, X, EXAMEN y QUE).
  • Validar con estudiantes sordos e intérpretes de LSM
  • Ampliar el vocabulario y probar en Android y en navegadores distintos de Safari.
  • Volver a medir la latencia tras el ajuste del decisor y usar un modelo de lenguaje para frases más naturales.

Built With

Share this project:

Updates

Submission history