Implémentation de fonctions non linéaires sur un accélérateur d'IA pour l'inférence ViT H/F

Candidater

Les transformateurs de vision (ViT) sont largement utilisés dans le domaine de la vision par ordinateur (CV) pour, par exemple, la classification d'images, la détection d'objets, la segmentation d’images.... Une image d'entrée pour le ViT est divisée en un ensemble de patch d'image, appelées "jetons visuels". Les jetons visuels sont intégrés dans un ensemble de vecteurs codés de dimension fixe. La position d’un patch dans l'image est intégrée avec le vecteur codé et introduite dans le réseau d’encodeur du transformateur. L’encodeur ViT comporte plusieurs blocs et chacun d'entre eux se compose de trois éléments de traitement principaux : Layer Normalization, Multi-head self Attention Network (MSA) et Multi-Layer Perceptrons (MLP). Ces différents éléments de traitement comprennent plusieurs fonctions non-linéaires, telles que : Layer Normalization, Softmax et l’activation GELU, mettant en œuvre des opérations de type : exponentiel, tangente hyperbolique et division.  Outre l’introduction d’une latence importante, l’implémentation matérielle de ces fonctions nécessite une quantité substantielle de ressources entrainant une forte augmentation de la consommation d’énergie. Dans le cadre de ce stage, le candidat sera amené à mettre en œuvre une architecture matérielle adaptée pour les fonctions non-linéaires. Cette architecture devra réduire la complexité de calcul, la consommation d’énergie et l'utilisation des ressources tout en maintenant un niveau raisonnable de précision. La partie du stage permettra au candidat d’analyser le réseau de transformateur de vision (ViT) et de caractériser les fonctions non-linéaires constituant l’encodeur. Cette analyse lui permettra de proposer une solution optimisée du portage de ces fonctions. Afin d’évaluer les performances, la solution proposée sera implémentée par le candidat sur une architecture cible à base de FPGA. Les résultats du stage pourront faire l’objet d’une publication dans une conférence internationale. Ce stage permettra au candidat d’acquérir des connaissances dans le domaine des réseaux de neurones et de monter en compétence en conception matérielle VHDL pour des systèmes sur FPGA. Vous êtes naturellement curieux.se, motivé.e par l'innovation dans le domaine numérique.  Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles ! Vous avez encore un doute ? Nous vous proposons : Un environnement unique de recherché dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels. Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel, Des moyens expérimentaux exceptionnels et un encadrement de qualité, Un poste au cœur du cluster Paris-Saclay, campus d’excellence et plus grand centre de R&D de France Un équilibre vie privé – vie professionnelle reconnu.

Le Commissariat à l'Énergie Atomique et aux Énergies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche intervient dans trois grands domaines : l'énergie, les technologies pour la santé et l'information, et la défense. Au sein de la Direction de la Recherche Technologique (DRT) du CEA, le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies, dans le domaine des systèmes de calcul spécialisés, de la recherche amont vers les industries.

Qu’attendons-nous de vous ? Vous préparez un diplôme d'ingénieur ou un master 2 recherche. Vous êtes familier.ère aux langages de programmation tels que: VHDL et C/C++ Vous avez des connaissances en intelligence artificielle (IA) et en  réseaux de neurones profonds (DNN)

Bac+5 - Diplôme École d'ingénieurs

Anglais Courant,Français Courant

fr_FRFR

Contact us

We will reply as soon as possible...