SignFinity

Inspiration

Signfinity est né de notre volonté de briser les barrières de communication entre les personnes sourdes et entendantes. Nous avons remarqué le manque de solutions fiables et accessibles qui traduisent la langue des signes en temps réel, ce qui limite l’inclusion sociale et professionnelle.

What it does

Signfinity est une plateforme intelligente qui traduit la langue des signes tunisienne en texte et en voix, et inversement. Elle facilite la communication entre sourds et entendants, permettant des interactions plus fluides, inclusives et naturelles dans l’éducation, les services publics, et le quotidien.

How I built it

Backend : FastAPI / Flask pour gérer les requêtes et l’API de traduction.

Frontend : HTML, CSS, JavaScript pour un affichage interactif et réactif.

IA multimodale : MediaPipe pour le tracking des mains et du visage, MLP / Transformers légers pour la classification des signes.

Traitement du langage naturel : SpaCy et Ollama API pour la génération de texte et de voix.

Base de données : Pour stocker les signes, phrases et résultats des utilisateurs.

Challenges I ran into

Assurer une précision en temps réel pour la détection et la traduction des gestes.

Synchroniser vidéo, détection des signes et génération de texte/voix.

Optimiser les performances pour garantir une expérience fluide sur différents appareils.

Accomplishments that I'm proud of

Développement d’un prototype fonctionnel capable de traduire les signes en temps réel.

Création d’une interface intuitive qui rend l’expérience utilisateur simple et interactive.

Intégration réussie de technologies IA multimodales pour la détection et la traduction.

What I learned

Approfondissement des compétences en IA, NLP et vision par ordinateur.

Compréhension de l’importance de l’UX/UI pour l’inclusion sociale.

Gestion d’un projet technique complexe combinant backend, frontend et IA.

What's next for SignFinity

Étendre la base de données des signes et phrases pour couvrir toute la langue des signes tunisienne.

Ajouter plus de fonctionnalités interactives, comme des avatars animés et feedback audio/visuel.

Collaborer avec associations et écoles pour tests pilotes et améliorer l’accessibilité du projet.

Built With

• amazon-web-services
• built-with-/-technologies-utilisees-:-langages-de-programmation-:-python
• css
• des
• docker-(optionnel)
• flask-frontend-:-react-/-tailwind-css-(si-utilise)
• html
• java-frameworks-&-bibliotheques-:-backend-:-fastapi
• javascript
• landmarks
• mediapipe-pour-la-detection-de-gestes-cloud-&-deploiement-:-heroku
• ollama
• ollama-api-bases-de-donnees-:-sqlite-/-postgresql-/-mongodb-(selon-architecture)-api-&-services-externes-:-openrouter
• ou-serveur-dedie-local-(selon-usage)-outils-&-plateformes-:-github-pour-le-versioning
• ou-vanilla-js-+-html/css-machine-learning-:-pytorch
• scikit-learn
• tensorflow-(selon-modele)-traitement-du-langage-naturel-:-spacy
• tracking
• vs-code-autres-technologies-:-modeles-transformers-legers-pour-classification-multimodale