STAGE - Attaques adverses et contre-exemples pour la vérification de réseaux de neurones H/F

Job description: Contexte Avec les récents développements en matière d'IA, son utilisation est de plus en plus répandue et soulève de plus en plus de questions quant à sa robustesse, son respect de la vie privée ou autre. On peut citer par exemple le cas des attaques adverses, où un attaquant modifie les entrées de l'IA avec une perturbation invisible à l’œil nu pour changer totalement la décision. Un certain nombre de travaux ont émergés pour augmenter la confiance dans les IAs en se basant sur diverses méthodes formelles ou empiriques. Afin de fournir des garanties fortes de sûreté et de sécurité sur des réseaux de neurones, les équipes du CEA ont développés un outil à base de méthodes formelles appelé PyRAT. Cet outil cherche notamment à perturber les entrées d'un modèle IA pour en assurer sa sécurité. Actuellement les méthodes implémentées dans PyRAT restent rudimentaires utilisant des attaques adverses simples sur le réseaux. Néanmoins, celles ci ne permettent pas de s'adapter plus précisément au modèle étudié ni aux spécificités de ses entrées. Stage Ce stage consistera donc à améliorer le modèle attaquant défini dans PyRAT afin de trouver des failles dans le modèle en utilisant des attaques plus fortes ou en incorporant des informations provenant des analyses formelles effectuées par PyRAT dans ce modèle d'attaquant. En plus de cela, des optimisations et des compromis pour éviter une recherche d'attaques trop longue seront à trouver. Plusieurs axes seront donc explorés: Implémentation d'attaques adverses plus fortes dans PyRAT Incorporation d'informations supplémentaires venant de PyRAT dans les attaques Automatisation et optimisation la recherche d'attaque en termes de performances et de temps Le/la stagiaire prendra aussi part à la compétition international de vérification de réseaux de neurones pour tester les nouvelles capacités d'attaque de PyRAT sur les modèles.

Institute description: Sur le campus Paris-Saclay, le rôle du Laboratoire Sûreté et Sécurité des Logiciels du #CEA-List est de développer des outils d'analyse pour augmenter la confiance dans les systèmes logiciels, en détecter des vulnérabilités, garantir la conformité à leurs spécifications, et en accélérer l'évaluation y compris dans des démarches de certification. Nos outils open-source sont développés afin d'être utilisés par l'industrie et leur développement est guidé par ses besoins.

Your profile: Qu’attendons-nous de vous ? Le candidat travaillera à l'intersection des méthodes formelles et de l'intelligence artificielle. Il préparera un Master I ou II ou équivalent en informatique. Connaissances requises: Développement Python Git Bases en vision par ordinateur et intelligence artificielles Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles ! #CEAList Vous avez encore un doute ? Nous vous proposons : L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique, Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels, Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel, Des moyens expérimentaux exceptionnels et un encadrement de qualité, De réelles opportunités de carrière à l’issue de votre stage, Une participation aux transports en commun à hauteur de 75%, Un équilibre vie privé – vie professionnelle reconnu, Une politique diversité et inclusion, Un CSE actif en termes de loisirs et d’activités extra-professionnelles. Tous nos postes sont ouverts aux personnes en situation de Handicap. La Mission Handicap du CEA vous accompagne et met en place les aménagements nécessaires à vos besoins spécifiques.