SmartCart.AI

Asistente IA para catering aéreo: predice consumo exacto, valida caducidades y optimiza productividad

Comment

Inspiration

GateGroup es el líder mundial del catering aéreo, prepara 3.8 millones de vuelos anuales para 650 millones de pasajeros. Detrás de cada vuelo está la operación de Pick & Pack donde se ensamblan cientos de carros manualmente según especificaciones exactas, con un proceso manual que toma entre 3.5 hasta 7 minutos sin estándar por carro y empleados que invierten horas validando fechas de caducidad de manera manual. Los datos revelaron otro problema oculto: aproximadamente 26% de productos nunca se consumen 1 de cada 4 productos (hasta 51% en algunos vuelos) .

Con esto en mente, encontramos la oportunidad perfecta: apuntar a 3 dimensiones críticas (Fechas de Caducidad, Consumo y Productividad) que se pueden resolver mediante el desarrollo y la Inteligencia Artificial. KLM redujo 63% de desperdicio con ML. SmartCart.AI nació para dominar el desafío de convertir horas incesantes de trabajo manual en decisiones instantáneas respaldadas por los datos. Transformar el proceso de 38,000 empleados globales, mientras se ahorran grandes cantidades de gastos y se elimina el desperdicio a escala masiva.

Asunciones Iniciales

APIs Externas Disponibles: Google Gemini 2.0 Flash mantiene disponibilidad y uptime > 99%, ElevenLabs Paula voice estará operativo durante demostración y Conexión internet estable en operación catering

Datos & Entrenamiento: Disponibilidad de históricos completos por producto individual (no solo por categoría), Patrones consumo estables por ruta/aerolínea y Datasets limpios, sin sesgos extremos.

Computer Vision - Implementación: Tesseract OCR sería "plug-and-play" inmediato; Realidad: Requirió considerable effort en regex, preprocessing (contraste, rotación, denoising), pattern matching para manejar variabilidad etiquetas.

What it does

SmartCart AI integra 3 pilares operacionales:

1. Modelo Predictivo que estima consumo exacto por vuelo (ruta, pasajeros, aerolínea) reduciendo desperdicio del 25% a <5%.

2. Computer Vision detecta y extrae fechas caducidad automáticamente desde imágenes (cámara/upload), gestiona inventario FIFO (First In - First Out) intuitivamente.

3. Asistente IA Conversacional responde preguntas operacionales en voz natural española, reduciendo verificación 30 -> 10 segundos, mejorando productividad.

How we built it

Backend multimodal: FastAPI + Gemini 2.5 (conversación) + ElevenLabs (voz natural).

Computer Vision: OCR + pattern recognition detecta fechas en etiquetas producto.

Frontend React/TS: Componentes especializados (PredictionForm, ProductsManager, VoiceAssistant).

Integración: Speech-to-Text navegador, WebcamModal captura tiempo-real, API extraction de fechas, base64 audio streaming. Arquitectura: Modular, extensible para datos reales GateGroup.

Challenges we ran into

1. Tesseract OCR: Detectar fechas en ángulos variables, formatos mixtos (DD/MM/YYYY vs JJ), etiquetas borrosas. Solucionado con pre-procesamiento imagen (contraste, rotación automática).

2. Datasets incompletos: Missing values en consumo histórico, reglas faltantes aerolíneas. Usamos valores por defecto validados.

3. Integración multimodal: Sincronizar vision -> predicción -> voz sin conflictos state.

4. ElevenLabs latencia: Optimizado con base64 streaming.

Accomplishments that we're proud of

Sistema end-to-end funcional que demuestra viabilidad: fotografías -> fechas detectadas automáticamente + predicción recomendada + asistente resolviendo dudas operacionales en voz. UX intuitivo SaaS 2025 con branding #010165. Robustez: 3

Fallbacks (Gemini -> fallback responses, ElevenLabs -> Web Speech, OCR -> manual input). Impacto cuantificable: 50% reducción waste, 20s ahorrados/carrito, $500k potenciales/año. Producto hackathon genuinamente usable.

What we learned

1. Multimodalidad > Unimodalidad: Voz+visión+predicción juntas > separadas.

2. Domain context es crítico: Gemini brilla cuando entiende contratos, FIFO, cold-chain.

3. Graceful degradation salva UX: Sin ElevenLabs, sin OCR, sin Gemini -> sistema aún funciona.

4. Operarios requieren manos libres: Voz no es lujo, es necesidad.

5. Datos reales > datos mock: POC valida concepto; producción requiere históricos GateGroup.

What's next for SmartCart.AI

1. Mejorar OCR: Diferentes idiomas, formatos fecha, etiquetas dañadas.

2. Mobile app: Operarios con tablets, funciona offline.**

3. Analytics gerencial: Dashboard waste trends, ROI, cumplimiento FIFO. 4. Expansión: Multi-lenguaje, white-label otras catering. 5. Gemini Vision: Procesar imágenes dentro contexto conversacional directamente. 6. Formalización de Herramientas Utilizadas: Sustituir opciones utilizadas por unas más especializadas (Caso: Text Recognition, Computer Vision, etc).

Built With

Share this project:

Updates