Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT

Job description: Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la compression de modèle de réseaux de neurones en vue de les implémenter sous forme d’inférence légère, le LIAE s’intéresse à l’exploitation de la sparsité [2]. Il s’agit de tirer parti du nombre de « zéro » présents dans des matrices/tenseurs d’activations et/ou de poids pour réduire la taille de la mémoire requise et le nombre d’opérations induites. Dans ce contexte, l’objectif de ce stage est d’identifier et de mettre en place des techniques d’organisation de la sparsité (semi-structuré/structuré) dans un réseau ViT. Dans ce contexte, les principales missions du candidat seront les suivantes: -       Déployer un réseau ViT existant comme base de référence -       Identifier et analyser les mécanismes de création ou d'augmentation de la sparsité, -       Identifier et analyser les mécanismes de réorganisation des matrices (stockage mémoire efficace), en particulier autour des fonctions d’activations, pouvant s’appliquer à ce modèle. -       Mettre en place des solutions et caractériser les gains et/ou des pertes observées en terme de taille et de performance. -       Proposer dans la mesure du possible de piste d’implémentation d’un support matériel pour une implémentation embarquée. Une bonne expérience avec Pytorch et cibles embarquées serait appréciée. [1] https://arxiv.org/abs/2304.07193 [2] https://www.mdpi.com/2301878

Institute description: Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

Your profile: Niveau demandé : diplôme master (BAC+5) Compétences : Système embarqué, IA, Python, traitement d’image, Pytorch Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

Level of qualification studied: Bac+5 - Diplôme École d'ingénieurs