Ivado

Etude de mérite pour dignositquer
Effet de chaque variable apres permutation sur la région
Pareto
Heatmap des parametres

Inspiration

Les décisions de financement des études peuvent reproduire des inégalités déjà présentes dans les données historiques. Notre projet part d’une question simple : peut-on automatiser l’attribution de bourses sans simplement reproduire les disparités du passé ?

L’inspiration vient notamment des travaux d’Alice (2024) sur le rôle de l’IA comme « miroir » des structures présentes dans les données. Nous avons voulu transformer cette idée en une démarche concrète d’audit, de mitigation et de suivi de l’équité.

What it does

ÉquiAlgo analyse un système de financement étudiant afin d’identifier les disparités entre groupes et les variables pouvant servir de proxys à une caractéristique sensible.

Le système :

audite les données et identifie les principaux proxys ;
mesure les écarts d’attribution entre groupes ;
applique une contrainte d’équité avec Fairlearn / ExponentiatedGradient + DemographicParity ;
intègre une contrainte budgétaire de 36–44 % ;
sélectionne le modèle sur validation et conserve un jeu de test indépendant ;
fournit des indicateurs permettant de surveiller l’équité au fil du temps.

How we built it

Nous avons construit un pipeline Audit → Mitigation → Validation → Test → Monitoring.

Nous avons d’abord établi une référence à partir des décisions historiques, puis entraîné un modèle permettant notamment de mesurer la capacité des variables à reconstruire l’appartenance régionale. Cette analyse a révélé une forte capacité prédictive des proxys, notamment la distance domicile–campus.

Nous avons ensuite utilisé Fairlearn pour appliquer une contrainte de Demographic Parity avec ExponentiatedGradient. Le paramètre de contrainte a été sélectionné uniquement sur l’ensemble de validation avant une évaluation finale sur le test.

Challenges we ran into

Le principal défi était de distinguer performance prédictive et équité. Un modèle peut très bien reproduire les décisions historiques tout en reproduisant leurs disparités.

Un autre défi était celui des proxys : retirer directement une variable sensible ne suffit pas lorsque d’autres variables permettent de reconstruire indirectement cette information.

Enfin, il fallait trouver un compromis réaliste entre équité, fidélité aux décisions historiques et contrainte budgétaire, tout en évitant d'utiliser le jeu de test pour choisir les paramètres du modèle.

Accomplishments that we're proud of

Nous avons obtenu une réduction très importante de l’écart entre les groupes.

Avec le réglage retenu (difference_bound = 0,01), l’écart de Demographic Parity est de seulement 0,12 point sur le test, pour un taux d’octroi global de 38,55 %.

Sur un scénario de 4 000 candidats, le taux d’octroi atteint 39,0 %, avec seulement 1,13 point d’écart entre les groupes Centre et Éloignée.

Nous sommes également fiers d'avoir intégré l'équité comme une propriété mesurable et contrôlable du système, plutôt que comme une simple considération après l'entraînement.

What we learned

Nous avons appris que supprimer une variable sensible ne garantit pas l’équité : les modèles peuvent exploiter des variables corrélées ou des proxys.

Nous avons également constaté qu’améliorer l’équité implique souvent un compromis avec la reproduction des décisions historiques. Ce compromis doit donc être explicitement défini et mesuré, plutôt que laissé au modèle.

Enfin, l’équité n’est pas une propriété acquise une fois pour toutes. Elle nécessite un monitoring continu, des seuils d’alerte et la possibilité d’une revue humaine.

What's next for Ivado

La prochaine étape est de transformer ÉquiAlgo en un prototype réutilisable pour l’audit de systèmes décisionnels financés ou déployés dans des contextes réels.

Nous souhaitons notamment :

tester la méthode sur d’autres jeux de données et d’autres formes de biais ;
comparer plusieurs définitions et contraintes d’équité ;
améliorer le monitoring de la dérive des données et des écarts entre groupes ;
intégrer un mécanisme de revue humaine et d’alerte automatique ;
documenter les compromis entre équité, performance et contraintes opérationnelles.

À plus long terme, l’objectif est de proposer une approche permettant aux organisations de détecter, mesurer, corriger et surveiller les risques d’iniquité dans leurs systèmes d’IA.

Alice Xiang; Mirror, Mirror, on the Wall, Who's the Fairest of Them All?. Daedalus 2024; 153 (1): 250–267. doi: https://doi.org/10.1162/daed_a_02058