Inspiration
La inspiración detrás de Signus-AI nació de la necesidad de crear una herramienta que facilite la comunicación entre personas sordas o con discapacidad auditiva y quienes no conocen el lenguaje de señas. En un mundo donde la inclusión aún es un reto, quisimos aportar una solución accesible y útil mediante el uso de inteligencia artificial en tiempo real.
What it does
Signus-AI es un traductor de lenguaje de señas en tiempo real que utiliza visión por computadora e inteligencia artificial para detectar gestos manuales y convertirlos en texto al instante. Nuestro sistema permite que personas con discapacidad auditiva puedan comunicarse más fácilmente con quienes no dominan el lenguaje de señas, eliminando barreras en conversaciones cotidianas.
How we built it
Construimos este proyecto combinando técnicas de visión por computadora, aprendizaje automático y desarrollo web. A continuación se detallan las etapas principales:
- Captura de gestos con MediaPipe: Utilizamos la biblioteca MediaPipe de Google para detectar automáticamente 21 puntos clave (landmarks) por mano en tiempo real a través de la cámara web. Se procesaron estos puntos para extraer vectores representativos de cada gesto.
- Generación del dataset: Creamos un script personalizado para capturar gestos etiquetados. Se almacenaron vectores de landmarks para distintas palabras en lenguaje de señas.
- Entrenamiento del modelo: Utilizamos un modelo de Random Forest para clasificar los gestos. El modelo fue entrenado con los vectores extraídos para reconocer distintas señas con buena precisión.
-Script de traducción en tiempo real: Se construyó un módulo (translator_module.py) que accede a la cámara, detecta los gestos y predice su significado en tiempo real.
- Integración con Flask: Se desarrolló una aplicación web en Flask que actúa como interfaz para el usuario. Incluimos rutas para iniciar el traductor y visualizar contenido desde el navegador.
- Interfaz web moderna: Se diseñó una interfaz en HTML/CSS atractiva que incluye botones y elementos visuales. Planeamos integrar el video directamente en la página web usando WebRTC o streaming desde OpenCV para evitar abrir ventanas externas.
Challenges we faced
Entrenar un modelo rápido y preciso, optimizar el rendimiento para tiempo real, y reconocer señas usando vectores en lugar de imágenes completas. Tuvimos que crear nuestro propio dataset, lo que implicó capturar, etiquetar y normalizar gestos manualmente. También trabajamos en usar la cámara del celular como fuente inalámbrica para la computadora, mejorando la flexibilidad del sistema. Todo esto, mientras coordinábamos tareas y tomábamos decisiones rápidas bajo presión.
Accomplishments that we're proud of
Nos enorgullece haber desarrollado un prototipo funcional en solo 48 horas que reconoce múltiples señas con alta precisión. Logramos integrar MediaPipe para la detección de manos, entrenar un modelo de clasificación personalizado y crear una interfaz fluida para el usuario. También nos sentimos orgullosos del impacto potencial que esta herramienta puede tener en comunidades que enfrentan barreras de comunicación todos los días.
What we learned
Durante el desarrollo del proyecto aprendimos a trabajar bajo presión con un objetivo común, mejoramos nuestras habilidades en visión por computadora, aprendizaje automático y diseño de experiencia de usuario. También ganamos una comprensión más profunda sobre los desafíos reales que enfrenta la comunidad sorda y cómo la tecnología puede ser una aliada poderosa para la inclusión.
What's next for Signus
Nuestro próximo paso es escalar Signus-AI para que reconozca una mayor variedad de señas, incluyendo expresiones faciales y gestos más complejos. Queremos lanzar una versión móvil multiplataforma que sea accesible para cualquier persona desde su celular. Además, estamos planeando desarrollar una extensión compatible con aplicaciones de videollamadas y videoconferencias como WhatsApp, Google Meet, Microsoft Teams, entre otras. Esta extensión permitiría la traducción de señas en tiempo real directamente en las llamadas, facilitando la inclusión en entornos laborales, educativos y sociales. Estará disponible tanto para PC como para dispositivos móviles, con su propio sitio web de descarga, soporte y recursos adicionales. A largo plazo, aspiramos a colaborar con instituciones y asociaciones de la comunidad sorda para validar y mejorar nuestra herramienta con su retroalimentación directa.
Log in or sign up for Devpost to join the conversation.