EQUIALGO-ICEMEN

Inspiration

Une bourse d'excellence devrait récompenser le mérite, pas le code postal. Or le modèle en production accordait une bourse à 48 % des candidat·es des grands centres contre 27 % en régions éloignées. Le défi IVADO ÉquiAlgo nous demandait de comprendre d'où venait cet écart et de le corriger sans sortir de l'enveloppe budgétaire.

What it does

ÉquiAlgo audite les décisions historiques du comité, isole la part de l'écart qui ne s'explique pas par le mérite, puis propose un modèle corrigé :

• 40,0 % d'octroi dans les deux groupes (Centre et Éloignée), contre 46,8 % / 27,8 % auparavant
• Écart d'égalité des chances ≈ 0 contre le mérite reconstruit (0,296 pour le modèle en production)
• 94,63 % d'exactitude et 94,40 % de F1 macro contre la référence cachée (HxBuddy)
• Un score final à deux facteurs (cote R + heures travaillées), simple à expliquer et qui ne permet plus de deviner la région (AUC 0,501)

How we built it

1. Audit : régression logistique des décisions du comité. À cote R égale, la région éloignée coûte ≈ 1,5 point de cote R, soit ≈ 80 % de l'écart. Le revenu forme un deuxième canal (doubler le revenu vaut ≈ 0,9 point).
2. Proxys : le code postal (AUC 1,000), la distance (0,998), les heures et le revenu trahissent la région. Retirer la colonne région ne réduit presque rien (0,188 → 0,181) : l'équité par ignorance échoue.
3. Neutralisation contrefactuelle : le modèle apprend le comité avec la région, le revenu et la distance, ce qui range le biais dans des coefficients identifiables. On neutralise ensuite ces termes au moment de décider et on accorde la bourse aux 40 % meilleurs scores.
4. Front de Pareto : un paramètre λ dose la correction ; nous le comparons à ThresholdOptimizer et ExponentiatedGradient de fairlearn.
5. Gouvernance : fiche modèle, indicateurs surveillés avec seuils d'alerte, rôles, conformité à la Loi 25 et à la Charte, procédure d'arrêt.

Challenges we ran into

Le plus difficile était de mesurer l'équité sans tourner en rond : calculer l'égalité des chances contre les décisions du comité ne fait que vérifier qu'on copie un comité biaisé. Il a fallu reconstruire un mérite indépendant (cote R + 0,146 point par heure travaillée) et le valider de trois façons : il reproduit l'écart publié par les organisateurs (0,266 vs 0,270), il donne 94,63 % sur HxBuddy, et ces scores impliquent une référence à ≈ 40 % de méritants, ce qui confirme notre seuil.

Accomplishments that we're proud of

Montrer que le compromis équité / exactitude est en partie une illusion : contre les décisions historiques, l'exactitude baisse un peu (88,6 % → 85,3 %), mais contre le mérite réel, elle monte. Les outils fairlearn, contraints par rapport au comité, laissent un écart de 0,22 à 0,33 ; notre approche le ferme. Le tout est déterministe et se reproduit en une commande d'environ 10 secondes.

What we learned

• Retirer une variable sensible ne suffit pas quand des proxys la portent.
• Le choix de la métrique d'équité et de la référence de mérite compte autant que le modèle.
• Expliciter le biais dans le modèle permet de le retirer proprement, plutôt que de le laisser se cacher ailleurs.

What's next for ÉquiAlgo

• Remplacer le mérite reconstruit par une vraie mesure (révision à l'aveugle, réussite après un an)
• Faire valider le poids des heures travaillées par un comité d'éthique et l'élargir à d'autres contraintes de temps (proche aidance, handicap, famille)
• Mettre en place la surveillance en production : parité, égalité des chances, neutralité du score, dérive (PSI), sous-groupes
• Tester sur des données réelles, où les relations sont moins linéaires que dans ce jeu synthétique

Built With

• fairlearn
• matplotlib
• numpy
• pandas
• python
• scikit-learn
• statsmodels