Titre
Vue d'ensemble
Redondance!
Segment Anything
Unsupervised Image Clustering - i
Unsupervised Image Clustering - ii
LLaVA

Un projet signé Verbose

Présentation du projet

Dans ce projet, on cherche à exploiter l'IA pour détecter l'accumulation de neige ou de glace sur des fils tests aux abords de différents postes. C'est un problème de vision par ordinateur dont la grande difficulté vient de l'absence totale de labels pour les 235 000 images du jeu de données.

Notre prédiction se base sur l'analyse combinée (méthode d'ensembles) de l'index de similarité (SSIM), de la méthode kmeans, du large language vision open-source LLava, ainsi que d'un réseau de neurones convolutionnel. Le but de cette redondance est de rendre notre prédiction plus robuste aux faux négatifs. Dans un contexte critique comme l'énergie, mieux vaut avoir un filet de sûreté. Les méthodes non-supervisées ainsi que l'utilisation de systèmes d'IA complexes amènent un certain risque: ces méthodes sont difficiles à interpréter et peuvent être imprévisibles.

Notre méthode cherche à attribuer un label à chaque photo:

Pas d'accumulation
Un peu d'accumulation
Un peu plus d'accumulation
Beaucoup d'accumulation
Anomalie visuelle

Dans le cas où une des méthodes ne détecterait aucune accumulation sur une image, alors que les autres oui, sa contribution au vote est diminuée.

Données

Le jeu de données du challenge fourni par Hydro-Québec

Échantillon de librairies et modèles d'IA

pytorch torchvision sklearn clustimage Segment Anything (meta) LLaVA (https://llava-vl.github.io/)

Bons coups

Beaucoup d'apprentissage en vision par ordinateur! Domaine complètement nouveau pour la très grande majorité de l'équipe. Performance aussi plutôt bonne considérant le peu de temps et le peu d'optimisation d'hyperparamètres réalisées.

Les difficultés

Nous avons perdu beaucoup de temps de développement à essayer d'obtenir une puissance de calcul suffisante par machine virtuelle. Avec les différents bugs, nous nous sommes rabattus en local et avons perdu de la latitude pour tester et perfectionner notre modèle sur l'ensemble des postes. Ainsi, nous avons testé uniquement pour le poste Moncouche, car il possédait une très grande variété d'images et d'accumulation. Nous avons aussi été limité dans l'optimisation d'hyperparamètres pour cette même raison.