Junior Investigator - 3 year fellowship - Innovate New Processing Paradigms, Data Intelligence, Methodologies, and Tools for Frugal Digital

🎓 Qualification : PhD • 🤝 Employment type : 3 year contract • 📍 Location : Paris area, France

Le CEA-List recherche un.e jeune scientifique de haut niveau, qui sera chargé.e d’impulser des idées nouvelles en matière de paradigmes de traitement, d’intelligence des données, de méthodes et d’outils afin de rendre les technologies plus sobres et plus durables. Le ou la lauréat.e de cette bourse Science Impulse de 3 ans dirigera son propre projet de recherche et aura l’opportunité de travailler avec les équipes scientifiques du CEA.

Contexte

Dans les cinquante dernières années, la technologie numérique a connu des gains d’efficacité sans précédent. Mais vu la croissance exponentielle de son utilisation, cela n’a pas suffi à réduire la consommation énergétique totale, considérable. Des approches novatrices sont indispensables pour répondre au besoin urgent de technologies plus pérennes et frugales. Cet enjeu ouvre de nombreuses pistes d’étude, en matière d’architectures, d’algorithmes et d’applications. Pour être fructueuse la recherche doit adopter une démarche holistique et optimiser tous les niveaux de la pile technologique.

Portée et applications

La recherche proposée pourra aborder un ou plusieurs des thèmes suivants et/ou leurs applications. Les propositions sur des thèmes connexes seront aussi étudiées :

1.Réaliser des tâches complexes à l’aide de données.L’apprentissage profond peut servir à concevoir des modèles d’apprentissage automatique efficaces, mais au prix de volumes de données et de budgets informatiques élevés. Les techniques d’apprentissage par transfert exploitent les similitudes entre tâches afin de raccourcir et d’alléger l’apprentissage requis pour les tâches nouvelles. Mais il reste une forte marge de progression. Il faut s’efforcer de :

• formaliser et quantifier les similitudes entre tâches
• mesurer l’arbitrage entre la capacité à discriminer efficacement et la transférabilité des représentations induites
• comprendre le lien entre la robustesse contradictoire et la transférabilité
• analyser la répartition des connaissances entre les composantes des modèles profonds, et la manière de l’utiliser pour optimiser l’apprentissage et le transfert
• caractériser la capacité d’un modèle profond à déplier la variété de données sous-jacente et remplacer certaines composantes du modèle par des transformations non apprises sur la base de considérations géométriques
  
  

2.Explorer des solutions frugales intelligentes n’impliquant pas nécessairement d’apprentissage, comme les modèles parcimonieux, les modèles lean et d’autres approches (approche bayésienne, hyperdimensionnalité, apprentissage auto-supervisé). L’apprentissage avec actualisation en continu sans réapprentissage complet, l’adaptation dynamique et la détection de nouveaux événements/nouvelles classes pourraient aussi être abordés. On pourrait notamment étudier comment :

• comprendre l’identification du « billet gagnant » (sous-réseaux de modèles complexes denses pouvant être entraînés jusqu’à l’exactitude totale en vertu de l’hypothèse des billets de loterie)et la transférabilité des billets gagnants pour différentes tâches en aval
• étudier l’élagage sans donnée ou en une fois sur la base des propriétés structurelles du réseau
• analyser les liens profonds entre l’élagage des modèles et la recherche d’architecture de réseau
• distinguer entre la capacité de réseau innée liée à l’architecture pour une tâche donnée et les connaissances « acquises » par l’apprentissage
• dépasser l’optimisation par algorithme du gradient
• co-concevoir les modèles matériels et parcimonieux
• étudier la transférabilité de l’élagage dans différentes classes de modèles
• développer l’agrégation multimodale de différentes modalités d’entrée.

3.Méthodes et outils d’ingénierie numérique frugale.L’écoconception est l’une des principales méthodes identifiées pour tenter de maîtriser l’incidence environnementale du numérique. Plus on intervient tôt (c’est-à-dire dans la phase de conception), et plus les gains potentiels tout au nom du cycle de vie du service numérique sont élevés. Les thématiques abordées pourraient être les suivantes :

• les approches globales systémiques visant à réduire les ressources informatiques (serveurs, réseau, terminaux, etc.) nécessaires pour une unité fonctionnelle donnée (service numérique)
• les méthodes et outils de conception à l’appui de ces approches, notamment ceux fondés sur l’analyse collaborative du cycle de vie exploitables par les experts en matériels, logiciels et infrastructures pour réduire les impacts environnementaux pendant tout le cycle de vie du service.
  
  

Parmi les applications spécifiques, les recherches pourraient porter sur les essais non destructifs, le contrôle de santé des structures, la vision par ordinateur, et le traitement du langage naturel.

Concernant les essais non destructifs et, surtout, le contrôle de santé des structures, de nombreux secteurs, comme l’énergie (surveillance de centrales nucléaires et d’éoliennes), les transports (ferroviaire, aéronautique, maritime) ou le génie civil (ponts), sont demandeurs de solutions pour estimer la durée de vie restante d’une installation et aider à planifier la maintenance à long terme, avec des avantages notables tant au plan financier et qu’en matière de sécurité. En termes de performance environnementale, une étude du CEA-List a montré que la mise en œuvre d’un contrôle de santé des structures avait un bilan carbone positif, même lorsque cette solution rallonge très peu la durée de vie d’une installation. L’intelligence artificielle peut encore accroître la puissance de ces solutions. Les capteurs et autres dispositifs utilisés dans les systèmes de contrôle de santé sont habituellement alimentés par batterie, aussi une IA frugale sera cruciale. Une approche globale et écoconçue aussi bien pour les algorithmes que pour le matériel sera nécessaire pour concevoir un système de contrôle basé sur l’IA entièrement viable.

Les applications en vision par ordinateur et traitement du langage pourraient permettre de développer des solutions alternatives au paradigme actuel dans lequel des modèles puissants sont produits par quelques géants du secteur et adaptés par les utilisateurs pour des tâches spécifiques – au prix de volumes de données et de budgets informatiques colossaux. Ici, la recherche pourrait aider à réduire la complexité des modèles, limiter le volume des données d’entraînement nécessaires, tout en maintenant le niveau de performance requis pour l’application ciblée ¬ de l’exploitation de modèles fondamentaux (contrôle des biais, complexité moindre) à la mise au point d’architectures alternatives sobres dès la conception. Des approches plus disruptives fondées sur des alternatives à l’apprentissage profond seront également envisagées.

Job description

Le CEA-Leti recherche un ou une jeune scientifique expérimenté.e pour contribuer à l’étude et au développement de solutions nouvelles et innovantes de traitement des données frugal et efficace. Le ou la candidat.e sélectionné.e pourra utiliser le matériel et les logiciels développés au CEA-List, ainsi que des ressources comme la plateforme SACHEMS pour l’industrialisation du SHM.

As principal investigator, the candidate will be in charge of the project and must be capable of working in a very multidisciplinary environment. In addition, a holistic and, therefore, multidisciplinary approach to the proposed topic or topics (see above in scope and applications) will be expected. The end goal is to achieve acceptable tradeoffs between efficient processing and frugality through research that is a natural fit for the programs currently underway at CEA-List.

Biblio references

1. Fefferman, C., Mitter, S., & Narayanan, H. (2016). Testing the manifold hypothesis. Journal of the American Mathematical Society, 29(4), 983-1049.
2. Frankle, Jonathan, and Michael Carbin. « The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks. » International Conference on Learning Representations. 2018.
3. Tanaka, H., Kunin, D., Yamins, D. L., & Ganguli, S. (2020). Pruning neural networks without any data by iteratively conserving synaptic flow. Advances in Neural Information Processing Systems, 33, 6377-6389.
4. Gaier, A., & Ha, D. (2019). Weight agnostic neural networks. Advances in neural information processing systems, 32.
5. BORDAGE, Frédéric. The environmental footprint of the digital world. Report for GreenIT. fr, 2019.Aujoux, C; Mesnil, O., « Environmental impact assessment of guided wave based structural health monitoring » Structural Health Monitoring, SAGE Publications Sage UK: London, England, 2022
6. Aujoux, C; Mesnil, O., « Environmental impact assessment of guided wave based structural health monitoring » Structural Health Monitoring, SAGE Publications Sage UK: London, England, 2022
7. http://www-list.cea.fr/en/media/news/2020/471-october-2-2020-sachems-shm-development-and-testing-platform