Spree

GIF
Reacciona a movimientos faciales
Puntos de reconocimiento facial leídos en tiempo real
Interfaz de lectura de la externsi

Descripción

Si pusieses leer en la mitad del tiempo que tardas ¿lo harías? Esto es posible con una técnica creada en los setentas que permite leer y comprender textos a velocidades increibles. Pero gracias al desarrollo de tecnología inovadora ahora se es capaz de detectar expresiones faciales y movimientos corporales.

Nuestra extension en Chrome combina estas dos tecnologías y te permite mantener una técnica de lectura consistente y eficaz, reduciendo el tiempo invertido y aumentando progresivamente las palabras por minuto promedio del usuario. Mediante lecturas faciales como sonreír, ladear tu cabeza o mirar hacia otro lado, el control de interface permite pausar la lectura si quitas la vista del monitor y reanudarlo una vez te hayas concentrado de nuevo, marcar oraciones importantes, adelantar la lectura al sonreír y diminuirla al levantar las cejas, etc. Cambiando por completo la lectura como la conocemos.

Debido al impacto de la pandemia provocado por el COVID-19, se ha reconstruido por completo el sistema laboral, dando pie a la creación de nuevos estilos de trabajo, el remoto siendo uno de ellos. Gracias a esto, nos ha surgido una obligación moral de elaborar herramientas que mejores la calidad de vida de todos los involucrados y afectados por la pandemia, logrando así un impacto social a través de la tecnología.

Los invitamos a ver el video de demostración para obtener una vista más profunda en lo que desarrollamos estas últimas 24 horas. En el video cubrimos la problemática que deseamos atacar, el algoritmo de Machine Learning que usamos para la solución, detalles técnicos, problemas que enfrentamos en el desafío y features futuros.

Inspiración

La fuerza laboral ha sido una de las comunidades más afectadas durante la pandemia, debido a que se ha sufrido un impacto en el estilo de vida al combinar el espacio laboral con el privado. Hemos diseñado la aplicación con esta problemática en mente, logrando así una extension en Chrome que te permite leer rápidamente cualquier texto deseado mediante la descomposición por palabras. La detección facial por medio de una User Interface permite identificar si el usuario esta distraído viendo por fuera de monitor, entre otros beneficios.

Spree se hace cargo de aligerar la interpretación de datos con el incremento y exposición en la carga de lectura, esto debido a que gran parte de la comunicación y la dinámica laboral ha migrado a este nuevo formato. Así mismo la falta de control de distracciones hace más difícil para el usuario mantener la concentración por largos periodos de tiempo. Spree permite a los trabajadores leer archivos completos, asegurando su completa concentración y reduciendo los tiempos invertidos en la lectura, mejorando indirectamente el desempeño y resultados del trabajador. De esta manera el usuario podrá completar las tareas en horario laboral, permitiéndole así tener un mejor balance de vida, así como entregas a tiempo que mejoraran sus evaluaciones laborales.

¿Qué hace?

Nuestro producto es una extensión de Google Chrome que te permite elegir texto fácilmente de cualquier página, como un archivo pdf antes de una junta, el periódico en la mañana, páginas de interés, etc. Así mismo al abrir la extensión te muestra palabras clave del texto mediante ML5.

La extensión tiene acceso a la cámara web de tu dispositivo para que puedas realizar controles faciales de lectura, velocidad y pausa utilizando gestos detectados a través de un modelo de detección facial que utiliza inteligencia artificial.

Con la extensión podrás ajustar la velocidad, pausar y regresar a secciones específicas de la lectura de forma sencilla con controles de teclado y faciales.

How we built it

Creamos una aplicación web en ReactJS empaquetada a través de una extensión de chrome con permisos de acceso a la cámara.

La aplicación utiliza modelos de inteligencia artificial para la detección y mapeo de puntos faciales, logrando mantener una lectura constante de tu rostro con el objetivo de recibir comandos faciales para control.

Además, el texto genera una lista de palabras clave utilizando otro modelo mediante ML5.

Challenges we ran into

Empaquetar un modelo de inteligencia artificial dentro de una aplicación web es ya de por sí un reto importante debido a las capacidades del navegador, por lo que ese fué uno de nuestros principales retos.

Además de eso, el empaquetado de la extensión y la detección de texto fué un área totalmente nueva para nosotros, ya que depende de un protocolo especial de comunicación entre el sitio web y la extensión.

Accomplishments that we're proud of

El texto seleccionado de la página se inserta automáticamente en la extensión
Los controles faciales creados con inteligencia artificial son un diferenciador único en la industria
Es sensible también a controles físicos de teclado
El producto viene empaquetado como una extensión y no sólo como una aplicación de lectura más