Inférence embarquée d'un nouveau modèle d'IA pour la vision, le Vision Mamba

Job description: Dans le cadre de son activité de conception de solution matérielle embarquée pour l’inférence de modèles IA, le LIAE s’intéresse notamment aux topologies des réseaux de neurones exploitées dans les modèles de fondation vision pour les applications de perception. Alors que les modèles de fondation vision à base de Transformers ont connu un essor considérable ces deux dernières années avec des performances très élevées [1], un nouveau modèle prometteur de type SSM (State Space Model), Vision Mamba [2], a été tout récemment proposé dans l’état de l’art comme alternative aux modèles Transformers. Aussi, bien que présenté comme moins complexe (en calcul et en mémoire) pour de grandes résolution d’images, la question du déploiement de ce modèle dans le domaine de l’embarqué se pose. L’objectif de ce stage est donc d’évaluer les propriétés d’embarquabilité du Vision Mamba aussi bien sur les aspects matériels (besoin en mémoire, complexité de calcul...) que sur les aspects applicatifs (robustesse à la quantification). Dans ce contexte, vous serez intégré à une équipe projet maitrisant une méthodologie d’analyse visant l’accélération matérielle de réseaux de neurones pour des applications de perception. Vos principales missions seront : -      Identifier les verrous et contraintes de la topologie du modèle Vision Mamba pour une inférence matérielle sur une cible embarquée à ressources contraintes. Au-delà de l’étude « théorique » du modèle, il pourra être nécessaire de le mettre en œuvre sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée (contraintes mémoire, complexité calculatoire…). -      Identifier et analyser les mécanismes de compression, en particulier la quantification, pouvant s’appliquer à ce modèle. -      Développer un modèle permettant d’estimer l’impact de la quantification de certaines parties du réseau sur les performances applicatives et sur l’embarquabilité du modèle. -      Le candidat pourra également être amené à proposer des solutions matérielles (conception d’un opérateur par exemple) pour le support efficace du modèle embarqué. Pour mener à bien votre mission, vous bénéficierez au CEA LIST d’un environnement de premier plan avec notamment l’accès aux outils de simulation de modélisation et d’exploration du laboratoire. Vous intégrerez également une équipe dynamique, au cœur de l’écosystème IA en France, qui a noué des liens privilégiés avec les principaux acteurs industriels et académiques du domaine. Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes. [1] https://arxiv.org/abs/2304.07193 [2] https://arxiv.org/abs/2401.09417

Institute description: Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

Your profile: Niveau demandé : diplôme master (BAC+5) Compétences : Système embarqué, IA, électronique numérique, Python, traitement d’image, VHDL Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années

Level of qualification studied: Bac+5 - Diplôme École d'ingénieurs