PlantTalk

Inspiração

O projeto foi inspirado pela comum presença de plantas em ambientes home office ou escritórios, tanto que o local do hackathon estava cheio delas. Assim como existem mães e pais de pets, existem de plantas. Pensamos que seria legal que fosse possível entender a comunicação delas.

O que isso faz?

O projeto consegue capturar a imagem de duas plantas, dessa maneira, conseguimos traduzir na linguagem delas a conversa. Após, se o humano quiser traduzir, ele pode clicar no botão de tradução. Cada tipo de planta possui uma personalidade, e a conversa é sempre diferente, respeitando essas personalidades.

Caso você não coloque uma planta, não será continuado o processo de tradução.

Como construimos?

Utilizamos React com Javascript para o front-end, a api Plant Id para identificar o nome das plantas e também se o que estava sendo exibido na câmera era uma planta. Para captar a conversa, geramos caracteres aleatórios. Para a tradução, usamos um assistente do Open IA que foi treinado com um prompt refinado para definir as caracteristicas principais de cada tipo de planta.

Para fazer a leitura da conversa, utilizamos o WebSpeech API. Para o deploy, utilizamos uma VM da magalu cloud, e com o IP publico, fizemos um proxy reverso para direcionar para um URL construida dentro da plataforma freeDNS.

Para a criação de testes unitários, foi utilizado Vitest. Também utilizamos a metodologia Kanban, dentro do trello, para coordenar as nossas ações.

Desafios

Tivemos um desafio que era capturar a imagem das duas plantas separadamente, para construir essa conversa de forma dinâmica. Por padrão a Plant Id API só detecta uma planta no envio. Então para resolver tiramos uma foto, separamos em duas, e fizemos duas requests para a api.

Tambem tivemos o desafio de utilizar o assistente da Open Ai, visto que ninguem do time tinha experiencia nisso. Mas os mentores foram excelentes ao nos ajudar.

Conquistas que estamos orgulhosas

Estamos orgulhosas por conseguir aprender tecnologias novas como a manipulação da captura de imagens com javascript, o uso do Web Speech API, e o uso da api do Open AI. Além de todo trabalho em equipe, pois nos conhecemos no primeiro dia do hackathon.

O que aprendemos

Aprendemos a construir a arquitetura do projeto sozinhas, do zero. Como utilizar IA para auxiliar no desenvolvimento de forma prática e assertiva. Como fazer melhores perguntas no processo de desenvolvimento. Empatia e organização. Alem das coisas tecnicas como o que ja foi citado anteriormente.