-
-
Lista de los resultados
-
Gráfica, Imagen generada y detalles
-
Dibujo generado
-
Dibujo 2 Generado
-
Cómo funciona
Inspiración
Lo que nos inspiró a realizar esta herramienta fue la propuesta lanzada por base22 para éste Hackathon, ellos nos invitaron a realizar arte; y nosotros nos dimos a la tarea de usar nuestros conocimientos para desarrollar algo que pudiera llegar a ser útil para otras personas.
Qué hace
τέχνη crea un canvas en blanco en el que un niño podrá utilizar su mano derecha para dibujar dentro de el con la opción de cambiar el color de su paleta con un comando de voz hacia un kinect, aunado a eso habrá una webcam que se encargará de detectar las emociones del niño, y usando musicoterapia trataremos de mejorar su estado de ánimo al reproducir canciones respecto a sus emociones. Al finalizar su dibujo, se mandará un snapshot del mismo y un arreglo de las emociones sentidas durante el mismo a una api que las interpretará.
Como se realizó
La parte de detección de movimientos se realizó en c# con kinect sdk, la detección de emociones con una webcam y un motor de codificación facial llamado Affdex, el cual permite realizar el mapeo de los movimientos musculares del rostro a emociones. El backend se realizó con node.js, json y express, el frontend se realizó con bootstrap, angular, html y css.
Dificultades
La detección de emociones fu un reto muy grande por el que tuvimos que trabajar mucho tiempo junto con la interpretación de los porcentajes de emociones enviadas a a api.
Logros
Detección de movimientos y emociones, interpretación de emociones, codificación y de-codificación de imágenes en base64. Funcionamiento de la detección de expresiones faciales con el lenguaje de Objective-C integrado en Xcode con el SDK de Affdex. Envío de datos json con peticiones POST desde CS a través de una REST API
Qué aprendimos
Detección de movimientos y emociones con kinect y una webcam. Codificación y de-codificación de imágenes en base64 enviadas a través de un json.
Qué sigue para τέχνη
Mejoras en la detección de emociones, promoción entre empresas socialmente responsables para su inclusión en asociaciones en favor de personas con autismo y, con suerte, su aplicación regular como manera de terapia.
Log in or sign up for Devpost to join the conversation.