AURA

Según datos del INEGI, al rededor de 2.6 millones de personas en México padecen de ceguera o alguna debilidad visual y aun así tienen que salir día a día a su trabajo, su escuela y sus rutinas diarias. Es a partir de esto que surge AURA, un asistente urbano para personas con discapacidad visual. Aura busca facilitar la rutina diaria de movilidad de las personas que tengan complicaciones para ver, detectando señales de alto, cruces peatonales, personas, semáforos y baches, y posteriormente, enviando alertas sonoras que informará, 3 cosas: ¿Qué es? ya sea un bache o cualquier otra cosa con la que haya sido entrenado el modelo. ¿Dónde está? puede ser que esté a tu derecha, quizá frente a ti. ¿Qué tan lejos está? Objetos mas cercanos requieren mayor precaución. Convergiendo en que, al final está alerta informe al usuario sobre lo que está pasando en el mundo y facilite el proceso de traslado por la ciudad. Este modelo trabaja con visión por computadora usando especialmente 2 librerías; OpenCV para la visión por computadora, y YOLOv8 para el entrenamiento y generación del modelo de predicción. Usamos datos extraídos de distintos datasets de Roboflow, todo para crear nuestro propio dataset que incluye las 5 categorías previamente mencionadas y lo entrena usando mas de 5000 imágenes para generar un modelo robusto que no entregue falsos positivos y sea capaz de predecir de forma rápida los obstáculos. Los audios fueron generados con Kokoro, buscando que sea lo más ligero posible pero a su vez se pueda obtener una voz no tan artificial y entendible para evitar confusiones del usuario. Todo esto terminó en un modelo de predicción bastante fiable que puede predecir en tiempo real obstáculos y personas y corriendo totalmente de forma local, haciendo que pueda ser transportado fácilmente y sin limitantes a la hora de su uso y garantizando su funcionamiento en cualquier lugar que te encuentres, sin embargo, conseguir esto no fue sencillo, pues para obtener este resultado, debimos crear varios modelos, con datasets diferentes y en ciertos casos, no fueron útiles, tardando más de una hora en generar un modelo y tener que crear varios para obtener un resultado viable. Al final, obtuvimos un modelo bastante bueno, que creemos que servirá de mucha ayuda para personas y que cumple bastante bien con la idea que inicialmente tuvimos, crear un buen asistente que puede dar ayuda a muchas personas sin ser tan invasivo y de forma clara. Ahora, el siguiente paso será pasarlo a un microcontrolador potente que pueda ser portátil, cómodo y a la vez mejorarlo con una cantidad mayor de datos y de objetos mas diversos, mejorando mucho su potencial y la confianza que genera este prototipo.

Built With

• github
• opencv
• python
• qt
• roboflow
• yolo