Apprentissage continu multimodal sous contraintes

Description de l'offre : Les méthodes d’apprentissage profond standard sont pensées pour utiliser des données statiques. Cela induit une limitation pratique importante lorsqu’ils sont déployés dans des environnements dynamiques et sont confrontés à des données inconnues. L’apprentissage continu permet de répondre à ce problème, surtout avec l’utilisation de grands modèles pré-entraînés. Toutefois, le déploiement de tels modèles en mode autonome est actuellement impossible dans nombreuses applications frugales qui imposent de fortes contraintes calculatoires et/ou de mémoire. De plus, la plupart des méthodes actuelles sont développées pour une seule modalité (texte ou visuel), alors que les données captées sont souvent multimodales. Cette thèse propose d’adresser plusieurs objectifs qui permettent le déploiement pratique d’agents capables de mettre à jour leurs représentations sous contraintes. Ce déploiement implique les objectifs suivants :(1) la collecte de corpus orientés domaine et leur augmentation basée sur des modèles génératifs multimodaux, (2) la compression de modèles de fondation pour les adapter au domaine et les rendre utilisables sous contraintes calculatoires et/ou de mémoire, (3) la proposition de méthodes d’apprentissage continu efficientes pour gérer de nouvelles données multimodales, et (4) la gestion de flux de données réalistes pour prendre en compte les specificités de différents contextes applicatifs.

Profil du candidat : Master en informatique ou intelligence artificielle