Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F

Job description: Contexte du stage Si la robotique autonome connaît actuellement de grandes avancées, les intelligences artificielles qui guident ces robots se limitent généralement à une planification à court terme, sur l’environnement immédiat du robot, et pour des domaines de requêtes prédéfinies. Pour aller vers plus de polyvalence, il est nécessaire de développer des Intelligences Artificielles (IA) capable de planifier, sur la base d’une requête en langage naturel, une série d’actions sur des horizons temporels lointain, impliquant des lieux ou des éléments qu’ils ont observés par le passé mais qui sont hors du champ de perception actuel du robot. Objectifs du stage Dans le cadre de ce stage, nous proposons d’étudier le domaine du Vision-Language Navigation [1,2,3], domaine de recherche interdisciplinaire à la frontière du traitement naturel du langage, de la vision par ordinateur et de la robotique. L’étudiant aura pour objectif de mettre en place un démonstrateur de navigation robotique autonome exploitant un LLM pour la compréhension de la requête utilisateur et la planification d’actions, ainsi qu’une représentation neurale 3D sémantisée de la scène et d’outils d’analyse de cette dernière pour connecter le LLM au monde réel. En raison de cet aspect interdisciplinaire, ce stage impliquera à la fois un laboratoire de vision par ordinateur (LVML) et un laboratoire de robotique (LCSR) du CEA. L’étudiant aura pour charge de : Prendre en main les représentations neurales 3D développées au laboratoire LVML et mettre en place les outils d’analyse adaptés à la tâche de navigation (recherche de la destination, détection des obstacles...).. ·Mettre en place un LLM en mode REACT pour analyser la requête utilisateur, réaliser la planification de tâches de navigation et invoquer les outils nécessaires (analyse de scène 3D, calcul et suivi de trajectoire...). Tester et évaluer la méthode dans un simulateur (eg. Habitat). Mettre en place le démonstrateur sur une plateforme robotique réelle (intégration des algorithmes de localisation, de contrôle-commande, etc., dans le framework robotique ROS). [1] Volumetric Environment Representation for Vision-Language Navigation. CVPR 2024 [2] Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation. CVPR 2024 [3] Vision-and-language navigation: A survey of tasks, methods, and future directions; Arxiv 2022 Rejoignez-nous en Stage !  CEA Tech Corporate from CEA Tech on Vimeo. En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche renommé . Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des ressources de premier ordre pour mener à bien vos missions.

Institute description: Laboratoire Vision pour la Modélisation et la Localisation (LVML) du CEA Tech LIST mène des recherches en vision par ordinateur et intelligence artificielle. Nous adressons en particulier les problématiques suivantes : -Géolocalisation et cartographie d'environnement par vision et fusion de capteurs (robotique mobile, drones…) - Systèmes et de vision pour la robotique : préhension, manipulation, assemblage d'objets… - Contrôle de conformité, détection de défauts géométriques, colorimétriques, etc… - Analyses hyperspectrales : détection de matériaux, tri, …. - Correction, amélioration d'images et vidéos ( superrésolution, upframing, …) - Compression de réseaux de neurones - … En nous rejoignant, vous contribuerez au développement l'intelligence artificielle pour la robotique autonome pour l'industrie française et européenne de demain.

Your profile: Qu’attendons-nous de vous ? Vous préparez un diplôme de niveau Master 2, devra disposer de connaissance en IA et en robotique, ainsi qu’une bonne maîtrise de python . Une expérience sur Pytorch et/ou ROS sera appréciée. Que pouvez-vous espérer du stage Ce stage permettra à l’étudiant de découvrir le domaine de l’intelligence artificielle pour la robotique, domaine à l’intersection des dernières avancées en terme de reconstruction 3D (Neural Fields, segmentation en vocabulaire ouvert...), du contrôle robotique, et des modèles de langage.  L’étudiant découvrira aussi les aspects plus appliqués, avec l’usage de framework largement employés dans la communauté (ROS, NeRFStudion...). L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants et de découvrir le métier de la recherche. Informations générales Formation / Niveau d’étude :  Ingénieur, Master 2 / Bac+5 Possibilité poursuite : Oui, en thèse ou CDD selon profil. Durée : 6 mois Lieu : Palaiseau (91) – Centre d’intégration de Nano-INNOV Indemnités de stage : 1400 € / Aide au logement / transport / restauration. Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles ! Vous avez encore un doute ? Nous vous proposons : L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique, Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels, Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel, Des moyens expérimentaux exceptionnels et un encadrement de qualité, De réelles opportunités de carrière à l’issue de votre stage Une participation aux transports en commun à hauteur de 85%, Un équilibre vie privée – vie professionnelle reconnu, Un restaurant d'entreprise, Une politique diversité et inclusion, Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l’inclusion des travailleurs handicapés.