La fiabilité des modèles dapos;intelligence artificielle capables dapos;analyser des vidéos (Video Large Language Models) constitue un enjeu majeur, notamment dans les domaines applicatifs où une mauvaise interprétation des images peut entraîner des décisions inadaptées ou engendrer de la désinformation. Aujourdapos;hui, ces modèles ont tendance à confondre ce qui est réellement visible dans une vidéo avec ce qui est simplement probable ou attendu. Ils peuvent ainsi affirmer quapos;une action a été réalisée alors que la vidéo ne montre pas sa réalisation effective. Lapos;objectif principal de la thèse est d’apporter aux modèles les capacités à distinguer trois situations : (1) un événement a bien eu lieu, (2) il napos;a pas eu lieu (avec des preuves visuelles suffisantes), ou (3) les informations disponibles ne permettent pas de conclure. Trois axes de recherche complémentaires seront explorés : · Le premier consiste à proposer des méthodes permettant dapos;apprendre aux modèles à identifier les éléments visuels réellement déterminants pour confirmer ou infirmer une action. · Le deuxième vise à développer des mécanismes de raisonnement capables dapos;identifier les observations qui devraient nécessairement être visibles si un événement avait eu lieu. Cette démarche permettra de produire des « certificats de non-occurrence », capos;est-à-dire des justifications structurées reposant sur des preuves visuelles permettant de conclure quapos;un événement ne sapos;est pas produit. · Le troisième axe étudiera si lapos;utilisation de ces certificats comme supervision supplémentaire permet dapos;améliorer les performances des modèles avec moins de données dapos;entraînement. Les approches développées seront évaluées en termes de précision, de robustesse face aux situations ambiguës, et de frugalité en données. À terme, cette recherche vise à développer des modèles vidéo plus fiables, capables de justifier leurs conclusions plutôt que de simplement prédire ce qui semble probable.
Ingénieur, Master 2 en apprentissage automatique
Talent impulse, le site d’emploi scientifique et technique de la Direction de la Recherche Technologique du CEA
© Copyright 2023 – CEA – TALENT IMPULSE – Tous droits réservés