Pangolin

Logo Equipo Pangolin
Logo Proyecto Seguridad Para Ti
El mejor equipo
Interfaz Gráfica
Código Dirección de Dron
Reconocimiento

Inspiration

Pangolín nació de la necesidad de abordar el tema de la seguridad ciudadana. Observamos que la situación de seguridad por la que estamos atravesando estos últimos años, se está agravando y quisimos crear una solución innovadora que pueda satisfacer el déficit de policías que hay en el estado de Querétaro

What it does

“Seguridad sobre ti” es un sistema de vigilancia con drones acompañado de una infraestructura de repetidores wifi y servidores que ofrece mayor seguridad a los ciudadanos al grabar situaciones que pueden parecer sospechosas o peligrosas para los residentes, mejorando la infraestructura de las CCTV en el municipio de Querétaro al tener la posibilidad de moverse sin comprometer la integridad de cuerpos de la policía.

How we built it

Para este proyecto, utilizamos Google Colab junto con el modelo YOLOv8 de Ultralytics para entrenar un sistema de detección de objetos personalizado. Creamos nuestro propio dataset, etiquetando manualmente las imágenes con LabelImg en formato YOLO, y lo dividimos en conjuntos de entrenamiento, validación y prueba. Implementamos técnicas de aumento de datos para mejorar la generalización del modelo y lo entrenamos ajustando parámetros como épocas, tamaño de imagen y batch size. Una vez listo, probamos el modelo procesando videos de prueba, generando nuevas secuencias con las detecciones marcadas, y finalmente lo adaptamos para funcionar en tiempo real mediante la captura de video desde una webcam, optimizando el rendimiento para mantener una velocidad fluida. Todo el proceso se realizó aprovechando las capacidades de GPU de Colab y bibliotecas como OpenCV para el manejo de imágenes y video.

Para enriquecer el sistema, integramos la API de Gemini, la cual analiza en tiempo real el video procesado por YOLO. Mediante un prompt específico, le indicamos que, al detectar comportamientos sospechosos (movimientos inusuales, robos, forcejeos o presencia de armas), genere automáticamente una alerta junto a una descripción detallada. Esta incluye: las acciones observadas, las personas involucradas (número, vestimenta, características físicas), la ubicación del incidente y cualquier otro dato relevante para reportar de manera inmediata a las autoridades.

Challenges we ran into

Durante el entrenamiento del modelo YOLO con nuestro dataset personalizado para la detección de armas y personas, enfrentamos varios desafíos clave. La limitada diversidad y cantidad de imágenes afectó la capacidad de generalización del modelo, especialmente en escenarios con iluminación variable o ángulos atípicos. La precisión en las etiquetas también representó un problema, ya que algunas anotaciones imprecisas o inconsistentes generaron falsos positivos y negativos durante la inferencia. Además, el desbalance de clases en el dataset, con mayor representación de personas que de armas, sesgó inicialmente las detecciones. Para mitigar estos

Al igual tuvimos problema con la conexión de dron a PC, pues encontramos que ciertos tipos de drones no usan el protocolo UDP para la transmisión de video en tiempo real, por lo que para nuestro prototipo inicial, que fue con el dron S162 MAX, tuvimos que hacer una emulación de una aplicación de android para presentar la grabación en nuestro monitor. Hicimos más eficiente el proceso al usar otro modelo de dron, específicamente el dron DJI Tello el cual permite los protocolos UDP y RTSP, protocolos que nos facilita el procesamiento de fotogramas por la inteligencia artificial; al igual los drones DJI nos ofrecen un SDK que nos permiten programar su ruta de vigilancia, cosa que no se podía hacer en el dron del inicio.

Accomplishments that we're proud of

Este proyecto no solo nos permitió desarrollar un sistema funcional de detección de amenazas, sino que también representó una valiosa oportunidad de crecimiento profesional para todo el equipo. A lo largo del desarrollo, adquirimos competencias clave en diversas herramientas tecnológicas: dominamos Figma para diseñar interfaces intuitivas, utilizamos Wireshark para optimizar el flujo de datos de red, e implementamos con éxito la API de Gemini para generar reportes automatizados. Más allá de los aspectos técnicos, aprendimos a trabajar colaborativamente, integrando diferentes perspectivas y habilidades para resolver desafíos complejos, lo que resultó en una solución robusta que combina visión por computadora con inteligencia artificial generativa para aplicaciones de seguridad.

What we learned

Este proyecto nos enseñó que la efectividad de un modelo de detección depende fundamentalmente de la calidad del dataset. Validamos la importancia de anotaciones precisas, balance de clases y aumento de datos, especialmente en aplicaciones sensibles como seguridad.

La integración de herramientas como Gemini nos abrió muchas posibilidades, pues pudimos aprovechar la IA generativa para revolucionar los sistemas de vigilancia tradicionales. Pudimos ir más allá de la detección básica, aprendimos a usar la API de Gemini, a diseñar prompts estratégicos y generar reportes automáticos que ayudan al cuerpo policial.

What's next for Pangolin

Como siguiente fase del proyecto, planeamos implementar un sistema de navegación inteligente para drones que analice patrones de criminalidad históricos. Utilizando bases de datos de delitos reportados en los últimos años, desarrollaremos algoritmos que identifiquen zonas de alto riesgo y optimicen rutas de vigilancia preventiva. Esta mejora permitirá que los drones no solo reaccionen a incidentes en tiempo real, sino que también realicen patrullajes predictivos en áreas con mayor probabilidad de actividad delictiva, potenciando así las capacidades preventivas de nuestra solución de seguridad.