AURA-3D

Quand le cours parlé devient visuel,en temps réel. AURA 3D sélectionne et altère le bon média au rythme du professeur. Le manque est cette synchronisation entre la parole et la visualisation.

Comment

AURA 3D — Quand l'affichage pédagogique suit l'enseignant

Inspiration

Je suis dans l'enseignement, et je ressens depuis longtemps ce besoin de moderniser nos enseignements avec ce que la technologie des IA nous offre aujourd'hui. En salle de cours — surtout dans l'enseignement technique, où j'ai moi-même enseigné l'automatique, l'infographie et l'électronique industrielle — on interrompt constamment le fil de l'explication : chercher une diapositive, manipuler un modèle, redessiner un schéma au tableau. Chaque coupure coûte de l'attention aux étudiants, et cette attention ne se regagne jamais complètement. Or un même concept exige souvent, au même instant, un mécanisme physique, un graphique et un schéma : expliquer un système d'automatisation sans montrer simultanément la pièce en mouvement, c'est demander aux apprenants de reconstruire mentalement ce que l'écran pourrait leur offrir.

La question qui a fait naître AURA 3D est simple : et si l'affichage pédagogique suivait le professeur, au lieu que le professeur suive l'affichage ? L'IA ne devait pas remplacer le geste pédagogique, mais le libérer — rendre à l'enseignant ses deux mains, sa voix et le regard de sa classe.

Ce que fait AURA 3D

AURA 3D est un copilote d'affichage multimodal qui transforme la parole de l'enseignant en scènes 3D synchronisées. Il fonctionne sur deux plans complémentaires :

  • Avant le cours, son studio de préparation convertit un sujet et des objectifs d'apprentissage en une fiche de cues multimédia structurée : pour chaque moment de la leçon, elle définit un déclencheur oral, un type de visuel, des paramètres, des indications de timing et des variantes pré-enregistrées ou générées. L'enseignant révise et valide tout avant que les apprenants ne voient quoi que ce soit — rien n'apparaît à l'écran qui n'ait été approuvé.
  • Pendant le cours, la reconnaissance vocale transcrit la parole en continu ; un planificateur local décide si un changement visuel est réellement utile à cet instant précis, puis n'exécute que des actions 3D approuvées : focalisation sur une pièce, emphase visuelle, masquage, révélation, recoloration, déplacement, rotation, vue éclatée, animation de mécanisme, étiquette, réinitialisation ou annulation. L'enseignant peut toujours reprendre la main manuellement.

Le résultat : un affichage synchronisé et contextuel capable de montrer un mécanisme 3D pendant qu'on l'explique, de sélectionner le point pertinent d'un graphique, de modifier un paramètre ou de basculer vers une variante visuelle accessible — sans que l'enseignant quitte son explication des yeux ni touche un clavier.

Comment nous l'avons construit

Le système repose sur deux vitesses d'intelligence, délibérément séparées, parce que la préparation et le direct n'ont ni les mêmes contraintes ni les mêmes risques.

1. Avant le cours — le studio de préparation (grand modèle, sortie stricte). L'API OpenAI Responses (modèle gpt-5.6-sol, effort de raisonnement faible pour rester réactif, Structured Outputs stricts) produit la fiche de cues selon un schéma imposé : objectifs d'apprentissage, déclencheurs oraux, timing, types de visuels, paramètres, variantes, notes d'accessibilité et de sécurité. Le schéma strict garantit qu'aucune sortie libre ne peut s'introduire dans la leçon. Sans clé API, le studio retourne un exemple local clairement étiqueté et n'effectue aucune requête — le projet reste testable et démontrable hors-ligne.

2. Pendant le cours — la boucle temps réel (petit modèle local, fortement contraint). La reconnaissance vocale du navigateur (français/anglais) transcrit la parole de l'enseignant. Un petit planificateur Cactus Needle 26M exporté en ONNX — 26 millions de paramètres seulement, donc exécutable en local sur une machine de salle de cours, sans connexion ni coût par requête — décide s'il faut agir. Il est renforcé par deux garde-fous : une attention lexicale pondérée qui vérifie que les mots importants (noms de pièces, actions, directions, paramètres, négations) sont bien présents dans la transcription, et un garde sémantique bilingue qui empêche les faux amis entre le français et l'anglais.

Seules les fonctions d'un registre déterministe de 13 actions peuvent ensuite être appelées — focus_parts, emphasize, set_visibility, set_appearance, move_parts, rotate_parts, set_exploded_view, animate_mechanism, set_camera_view, show_label, clear_emphasis, reset_scene, undo — et le rendu est assuré en Three.js. Pas d'eval, paramètres bornés, maximum 4 appels par plan, et reprise manuelle toujours possible : le modèle propose, le registre dispose.

Le cœur de la décision repose sur un score d'attention pondéré qui protège les mots porteurs de sens des mots de remplissage (« euh », « donc », « voyez-vous ») qui dominent statistiquement la parole naturelle :

$$ S \;=\; \frac{\displaystyle\sum_{i} w_i \, \sigma(c_i, o_i)}{\displaystyle\sum_{i} w_i}, \qquad \text{agir} \iff \begin{cases} \text{décision du modèle} = \texttt{act} \ S \geq \tau \ \text{cible résolue dans le manifeste de scène} \end{cases} $$

où $\sigma(c_i, o_i)$ est la similarité entre le cue canonique $c_i$ et le mot observé $o_i$, et $w_i$ le poids du type de mot-clé (pièce, action, direction, paramètre, négation). Concrètement : même si le modèle croit avoir compris une directive, le système n'agit que si le vocabulaire critique est réellement présent dans la transcription et si la pièce visée existe dans la scène courante.

Les défis rencontrés

Le défi central n'était pas de faire déclencher une animation par un modèle : c'était d'empêcher les changements visuels inappropriés pendant la parole naturelle d'un cours. Un enseignant qui dit « la colonne centrale est importante pour la stabilité » ne demande rien ; il raconte. Il a fallu :

  • Séparer la narration des directives : le système doit reconnaître qu'une phrase descriptive, même riche en vocabulaire technique, n'est pas un ordre. C'est le rôle de la décision act / no_action du planificateur.
  • Résoudre les cibles uniquement contre le manifeste de la scène courante : si la pièce mentionnée n'existe pas dans la scène affichée, l'action est rejetée au lieu d'être extrapolée — et toute fonction ou tout paramètre inconnu est refusé plutôt qu'« inventé ».
  • Borner chaque plan à quatre appels maximum et chaque argument à une plage sûre, pour qu'une mauvaise interprétation reste un petit incident réversible (l'action undo existe) plutôt qu'une scène détruite en plein cours.
  • Traiter les noms de pièces français et les négations : « arrête le mouvement » et « ne l'arrête pas » partagent presque tout leur vocabulaire. Sans la couche d'attention pondérée, les mots de remplissage et les synonymes approximatifs dominaient le petit modèle et inversaient le sens des consignes.
  • Maîtriser la latence CPU d'un modèle ONNX local : en classe, pas de GPU dédié ni de cloud garanti. Le choix d'un modèle de 26M de paramètres, quantifié et servi localement, est un compromis délibéré entre intelligence et temps de réponse exploitable en direct.

Nos fiertés

  • Un prototype bilingue voix/texte → 3D pleinement fonctionnel, de la préparation du cours à l'exécution en direct.
  • Une frontière de sécurité stricte : pas d'eval, fonctions en liste blanche, paramètres bornés, reprise manuelle — le pire scénario possible reste bénin et réversible.
  • Un benchmark reproductible de 20 cas rapportant 100 % de précision en décision, en cible et en liste exacte d'actions, avec une latence CPU moyenne de $\bar{t} \approx 3{,}44\ \text{s}$ et un score d'attention observé avoisinant $0{,}97$ — des résultats mesurés, pas espérés.
  • Un contrat GPT-5.6 Structured Outputs qui produit des cues de cours révisables et traçables, au lieu d'instructions multimédias non structurées que personne ne peut valider.
  • Un mode d'apprentissage parole + geste capable de sauvegarder localement les préférences de synchronisation de l'enseignant : le système s'adapte à sa manière de faire cours, pas l'inverse.

Ce que nous avons appris

Les médias éducatifs synchrones exigent deux vitesses d'intelligence : un modèle capable peut préparer des variantes riches et contextuelles avant le cours ; la boucle en direct, elle, doit être prévisible, rapide et contrainte. Chercher à faire les deux avec un seul grand modèle, c'est payer en latence, en coût et en imprévisibilité exactement au moment où la classe a le moins de patience à offrir.

Nous avons aussi appris que l'intention de l'enseignant, le contexte de la leçon et la possibilité d'une reprise manuelle comptent autant que la puissance brute du modèle — un petit modèle local bien encadré vaut mieux, en classe, qu'un grand modèle imprévisible. Enfin, la confiance se construit par la transparence : montrer à l'enseignant pourquoi le système a agi (score, cible, mots reconnus) change un gadget en outil.

La suite pour AURA-3D

  • Connecter les fiches validées à des générateurs de graphiques, diagrammes et images, pour couvrir au-delà de la 3D tous les supports d'un cours technique.
  • Ajouter une revue enseignante sensible au curriculum, afin que la fiche de cues soit contrôlée par rapport au programme officiel et pas seulement au sujet du jour.
  • Mesurer l'impact pédagogique avec des éducateurs sur le terrain, à Lubumbashi : compréhension, attention, temps de préparation réellement gagné.
  • Supporter la reconnaissance vocale hors-ligne, pour les salles sans connexion fiable — une réalité quotidienne dans beaucoup d'établissements.
  • Construire une bibliothèque réutilisable de leçons paramétrées en sciences et en ingénierie, mutualisée entre enseignants.

Built With

Share this project:

Updates