Calcul analogique en mémoire pour des mécanismes attentionnels dans le contexte de lapos;IA

Description de l'offre : Lapos;objectif de cette thèse est dapos;étudier la mise en œuvre de mécanismes attentionnels pour lapos;intelligence artificielle directement implémentés dans une mémoire non volatile (NVM) basée sur des technologies émergentes. Les mécanismes attentionnels représentent une avancée importante dans les algorithmes dapos;Intelligence Artificielle (IA) et sont à l’origine d’un gain en performance significatif des réseaux neuronaux artificiels dits « Transformers ». Bien quapos;initialement proposés pour le traitement du langage naturel, ces mécanismes sont aujourdapos;hui largement utilisés dans de nombreuses applications embarquées tels que la prédiction de la demande dans un réseau d’énergie/de chaleur, la maintenance prédictive, la surveillance d’infrastructures de transport ou de sites industriels, etc. Cependant, la complexité des algorithmes basés sur lapos;attention nécessite un accès intensif aux données et une puissance de calcul importante, entraînant une consommation énergétique élevée, ce qui peut être rédhibitoire pour lorsque l’on cible des systèmes matériels intégrés. La technologie des memristors non volatils permet de réaliser des fonctions de calcul entièrement analogique avec un budget dapos;énergie très faible tout en réalisant la fonction de stockage non volatil des paramètres des modèles dapos;IA. Des algorithmes massifs dapos;algèbre linéaire peuvent être exécutés rapidement à un coût énergétique fortement réduit. Cependant, la technologie présente des limitations sur plusieurs aspects tels que le nombre de bits pour encoder les paramètres du modèle, les dimensions maximales des matrices qui peuvent être traitées en parallèle, etc. Cette thèse vise à résoudre ces défis dans le contexte de l’analyse et de la prédiction de séries temporelles dans des systèmes embarqués. La tâche principale consiste à explorer le portage des mécanismes basés sur lapos;attention sur une technologie de memristor (utilisant le spin) développée par le laboratoire SPINTEC. Cela implique de quantifier et de partitionner les modèles dapos;IA pour les aligner sur lapos;architecture matérielle sans compromettre les performances de la prédiction, et dapos;explorer la mise en œuvre de blocs de calcul IA spécifique dans la structure analogique des memristors. Cette thèse sapos;inscrit dans le cadre dapos;une collaboration entre le CEA List, Laboratoire d’Intelligence Intégrée Multi-Capteur, Grenoble INP et le Laboratoire SPINTEC. Lapos;étudiant bénéficiera ainsi dapos;une équipe interdisciplinaire et dynamique au cœur de lapos;écosystème IA en France, qui entretient des liens étroits avec les acteurs industriels les plus influents dans le domaine.

Profil du candidat : Master 2, informatique, électronique, systèmes embarquées, mathématiques appliqués