Clarity

InspirationNuestra inspiración nació de observar cómo el mundo urbano, diseñado para la inmediatez y lo visual, margina a quienes enfrentan desafíos cognitivos o visuales. Nos movió la necesidad de transformar la soledad de la incertidumbre en la calle en una experiencia de autonomía asistida. Queríamos que la tecnología dejara de ser una barrera para convertirse en un puente que no solo evitara obstáculos, sino que devolviera la confianza de reconocer una sonrisa o recordar el camino a casa sin ansiedad.What it doesClarity es un ecosistema de acompañamiento que utiliza la visión computacional para narrar el mundo en tiempo real. Actúa como un monitor de seguridad activa que identifica riesgos viales y semáforos, guiando al usuario con instrucciones auditivas precisas. Además, digitaliza textos al instante y gestiona una memoria espacial y social; no solo reconoce rutas recurrentes para facilitar la orientación, sino que identifica rostros conocidos y analiza emociones, permitiendo al usuario mantener una conexión profunda y continua con su entorno social.How we built itConstruimos el núcleo de la aplicación integrando la capacidad multimodal de Gemini para el procesamiento de video y reconocimiento de patrones. Utilizamos una arquitectura de microservicios para gestionar la memoria espacial, permitiendo el almacenamiento y recuperación eficiente de coordenadas y puntos de interés. Para la jerarquización de alertas de seguridad, implementamos un modelo de prioridad de riesgos donde la relevancia de una advertencia $A$ está en función de la velocidad del objeto $v$ y la distancia $d$, expresado mediante:$$A \propto \frac{v}{d}$$Esto asegura que el usuario reciba primero la información crítica para su integridad física.Challenges we ran intoEl desafío técnico más complejo fue optimizar la latencia para la seguridad vial, ya que el procesamiento de imágenes debe ser casi instantáneo para prevenir accidentes. También enfrentamos el reto de diseñar una narrativa auditiva que fuera informativa pero no abrumadora; encontrar el equilibrio entre describir un entorno rico en detalles y mantener la claridad en momentos de alto estrés sensorial requirió múltiples iteraciones de diseño de experiencia de usuario y refinamiento de prompts.Accomplishments that we're proud ofEstamos profundamente orgullosos de haber logrado una integración fluida entre la seguridad física y la interacción social. Ver cómo el sistema es capaz de detectar un vehículo en movimiento y, segundos después, identificar a un familiar con una descripción emocional precisa, valida nuestra visión de una IA verdaderamente empática. Hemos creado una herramienta que no solo protege el cuerpo, sino que también nutre el sentido de pertenencia del usuario.What we learnedEste proyecto nos enseñó que la accesibilidad universal no es una característica opcional, sino un derecho que la tecnología actual tiene la obligación de garantizar. Aprendimos que el procesamiento de lenguaje natural y la visión computacional alcanzan su máximo potencial cuando se aplican a problemas humanos fundamentales. Además, comprendimos que para un usuario con necesidades cognitivas, la consistencia y la memoria del sistema son tan vitales como la precisión de sus sensores.What's next for ClarityEl futuro de Clarity se encamina hacia la integración con dispositivos de realidad aumentada y wearables para ofrecer una experiencia manos libres y más discreta. Planeamos expandir la capacidad de la memoria espacial mediante el uso de redes colaborativas, donde la información sobre obstáculos temporales o rutas seguras pueda ser compartida entre la comunidad. Nuestro objetivo final es que Clarity evolucione de ser una aplicación móvil a ser un estándar global de asistencia cognitiva personal.

Built With

• css
• html
• python
• vite