Stage M2: attaques de confidentialité en apprentissage fédéré H/F

Description de l'offre : Le but du stage consiste à étudier les attaques de confidentialité dans un cadre fédéré. Classiquement, un serveur malveillant (honnête mais curieux) tente d'inférer de l'information sur les données d'apprentissage d'un client à partir des paramètres du modèle [2]. Dans la littérature, ces attaques consistent souvent à reconstruire les données d'apprentissage en supposant les labels des données connus. Cette hypothèse n'étant bien sûr pas réaliste, une sous-catégorie d'attaques se concentre uniquement sur l'inférence de labels (iDLG [3], LLG [4], RLG [5], BLRG [6]). C'est ce type d'attaques qui sera exploré plus en détails durant le stage. Dans un premier temps, le stagiaire se familiarisera avec les concepts d’apprentissage fédéré et d'attaques de confidentialité. Dans un deuxième temps, le stagiaire se concentrera sur les attaques d'inférence de labels en réalisant une étude bibliographique et en étudiant la robustesse des attaques les plus prometteuses face à la complexité des architectures et face aux défenses classiquement mises en œuvre dans un contexte distribué (e.g. confidentialité différentielle). Enfin une dernière étape du stage pourra consister à étudier les limitations mathématiques des attaques existantes et/ou proposer une attaque innovante [2] Zhu et al., Deep leakage from gradients, 2019 [3] Zhao et al., iDLG: Improved deep leakage from gradients, 2020 [4] Wainakh et al., User-level label leakage from gradients in federated learning, 2022 [5] Dang et al., Revealing and protecting labels in distributed training, 2021 [6] Ma et al., Instance-wise Batch Label Restoration via Gradients in Federated Learning, 2023

Présentation de l’institut : Situé à Saclay, en Ile-de-France sud, le CEA LIST (http://www-list.cea.fr/) est un centre de recherche scientifique et technologique dédié au développement de logiciels, de systèmes embarqués et de capteurs pour des applications destinées à la défense, la sécurité, l'énergie, le nucléaire, l'environnement et la santé. Le CEA LIST fait partie de l'écosystème dynamique et stimulant de l'Université Paris Saclay. Il compte plus de 700 chercheurs se focalisant sur les systèmes numériques intelligents, centrés autour de l'intelligence artificielle, l'usine du futur, l'instrumentation innovante, les systèmes cyberphysiques et la santé numérique. Au sein de cet institut, le Laboratoire Instrumentation Intelligente, Distribuée et Embarquée (LIIDE) développe des fonctionnalités innovantes d'intelligence artificielle pour la mesure répartie et l'apprentissage frugal et distribué.

Profil du candidat : Le stage s’adresse à un(e) étudiant(e) du cycle ingénieur/universitaire cherchant un stage M2 et manifestant l’envie de travailler dans le milieu de la recherche. Idéalement, le/la candidat(e) suit actuellement une formation en lien avec le domaine de l’Intelligence Artificielle/Machine Learning. La connaissance des algorithmes d’optimisation en Machine Learning ainsi que la maîtrise de Python sont indispensables. Durant le stage, le/la candidat(e) sera en relation directe avec les membres de l’équipe d’apprentissage fédéré (deux ingénieurs-chercheurs, un thésard et deux post-doctorants). Nous attendons qu’il/elle soit capable d'apporter sa rigueur, son enthousiasme et sa curiosité pour la recherche. Nous offrons la possibilité à nos stagiaires de participer à la conférence JDSE afin de les familiariser avec le déroulement d'une conférence scientifique.

Langues : Français Courant,Anglais Courant