Approches few-shot et zero-shot pour l’extraction d’information à partir de textes

Description de l'offre : Dans le domaine de l’extraction d’information, dont l’objectif est d’identifier des concepts ou des faits dans des textes et de structurer les informations retenues, un enjeu important est de concevoir des modèles performants en utilisant seulement peu de données annotées (few-shot), voire sans données annotées (zero-shot). Le sujet de thèse proposé se situe dans ce cadre et portera en particulier sur l’exploitation des capacités des grands modèles de langues pré-entraînés (LLMs) pour cette tâche. Plus précisément, les pistes explorées pourront couvrir des approches de distillation de grands modèles tels que ChatGPT pour produire des données de préentraînement pour l’extraction d’information, une étude sur les synergies possible entre le préentraînement de modèles à grande échelle et des méthodes few-shot de méta-apprentissage épisodique ou la proposition de nouvelles méthodes pour la constitution de données de préentraînement, en utilisant par exemple une supervision distante par des bases de connaissances structurées.

Profil du candidat : Master 2 en informatique ou diplôme dapos;ingénieur informatique