Neural approximation of non-linear operations for efficient inference of new emergent model

Job description: The aim of the internship is to consider a complete implementation while getting as close as possible to the performance of the reference network. The implementation of quantization methods may also be addressed in a related manner. In this context, the objective of this internship is to identify the non-linear functions involved in ViT/VisionMamba networks and to implement learning techniques for generating approximate non-linear operations in an embedded context. The candidate's main tasks will be as follows: · Identifying the non-linear operations involved, · Deploying and validating the learning approximation method through simple tests, · Integrating the operators into ViT and Vision Mamba models on reference and quantified models.

Institute description: The Embedded Artificial Intelligence Laboratory (LIAE) is responsible for designing, developing and implementing solutions based on neural networks optimised for embedded systems. By joining our dynamic and experienced team, you will contribute to the development of our expertise in new neural networks for embedded systems, which are highly sought after in the French and European industry of tomorrow.

Your profile: Qu’attendons-nous de vous ? Vous préparez un diplôme de niveau bac+5 dans le domaine des systèmes embarquées et du traitement de signal. Vous êtes passionné par la recherche scientifique et technologique. Idéalement, vous possédez une première expérience de travail avec l’environnement Pytorch dans le cadre d’une mise en œuvre de réseau de neurones. Des notions sur les architectures matérielles sont un plus. La maitrise de lecture de papiers scientifiques de référence en anglais serait également appréciée.  Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !  Vous avez encore un doute ? Nous vous proposons : L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique, Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels, Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel, Des moyens expérimentaux exceptionnels et un encadrement de qualité, De réelles opportunités de carrière à l’issue de votre stage Une participation aux transports en commun à hauteur de 85%, Un équilibre vie privée – vie professionnelle reconnu, Un restaurant d'entreprise, Une politique diversité et inclusion, Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Level of qualification studied: Bac+5 - Diplôme École d'ingénieurs

Languages: English Intermediate