Pi Gem

Inspiration Estábamos hartos de que Alexa y Siri no nos hicieran caso. Queríamos un asistente que viviera en nuestra PC, nos conociera, ejecutara comandos por voz, y no nos cobrara mensualmente. Básicamente: queríamos a JARVIS pero gratis. What it does Pi Gem es un asistente que vive en tu PC. Lo despiertas diciendo ", le hablas, y te responde con voz mientras un avatar en tu escritorio cambia de cara según tu emoción. Te ve por la cámara, te reconoce, recuerda lo que le has contado en sesiones pasadas, y puede ejecutar comandos PowerShell por voz. Si te equivocas o algo falla, lo arregla solo. How we built it Para la ventana del avatar, FastAPI en Python para coordinar todo, y Gemini API para el cerebro (texto, voz, escucha). MediaPipe nos lee la cara, ChromaDB guarda la memoria, openWakeWord detecta el "hey jarvis". Todo corre local excepto las llamadas a Gemini. Challenges we ran into Linux nos tiró un crash bien feo porque dos hilos pegándole al micrófono al mismo tiempo rompen ALSA. Tuvimos que poner candados en todos lados. Probamos Picovoice primero pero pedía cuenta de empresa y tokens que expiran. Migramos a openWakeWord, gastamos más RAM pero quedamos libres. Gemini nos respondía los comandos PowerShell con markdown y backticks. Tuvimos que escribirle un parser que limpie todo antes de ejecutar. Sincronizar la boca del avatar con el audio fue un dolor. Al final medimos volumen cada 50 ms y mandamos por WebSocket si la boca va cerrada, media o abierta. Accomplishments that we're proud of Que jala. En serio. Le dices "qué onda" y te contesta con tu nombre porque se acuerda. El sistema de auto-healing: si un comando falla, Gemini lee el error y lo corrige solo, hasta 3 veces. Mágico. Bajamos la RAM a ~470 MB sin avatar, ~770 MB con todo prendido. Pensábamos que sería peor. What we learned Que delegar todo a la nube no siempre es la respuesta — hay cosas (wake word, visión) que tienen que ser locales sí o sí, por privacidad y por latencia. Que PortAudio en Linux odia los hilos. Que un buen system prompt vale más que cambiar de modelo. Que los usuarios no quieren teclear, quieren hablar. Y quieren ser escuchados. What's next for Pi Gem

Wake word custom: entrenar "hey gem" en lugar de "hey jarvis" Que aprenda solo: detectar patrones de uso y proponernos atajos Modo multi-monitor con el avatar siguiendo el cursor Versión Linux estable (ahorita Windows va perfecto, Linux a veces tose) Integración con calendario, correo, y Spotify por voz

Built With

• python