Approche neurale pour la reconstruction & la localisation 3D d'objets déformables H/F

  • Simulation numérique et modélisation,
  • Stage
  • 6
  • CEA-List
  • Paris – Saclay
  • BAC+5
  • 2024-02-01
Candidater

Contexte du stage La reconstruction 3D  et la localisation 3D (d’une scène ou d’un objet) sont deux thèmes de recherche dont les domaines d’application sont innombrables (robotique mobile, robotique interactive, médecine, détection d’anomalies,  suivi de chantier, reconstruction tel-que-construit,...). Cependant, les déploiements de telles solutions dans la vie courante restent limités du fait que,  ces dernières requièrent  des capteurs coûteux (plusieurs milliers, voire dizaines de milliers d’euros) dans le cas de la reconstruction, ou la disponibilité d’un modèle 3D de la scène/objet dans le cas de la localisation. Cependant, l’émergence de nouvelles approches de reconstruction basées sur l’intelligence artificielle, méthodes dites Neural Fields ou Implicit Neural Representations, ont révolutionné le domaine de la reconstruction 3D au cours des trois dernières années et permettent d’envisager l’arrivée de solutions peu onéreuses [InstantNGP]. Ces méthodes présentent à ce jour des limites, telles que la difficulté à déployer les solutions permettant de reconstruire des surfaces précises [Neuralangelo], mais aussi des atouts nombreux, comme la capacité à reconstruire des objets déformables, de reconstruire de manière compacte des scènes de grand volume, etc. Objectifs du stage: Ce stage aura pour premier objectif de concevoir et de développer de nouvelles approches de reconstruction 3D basée Neural Fields permettant d’outrepasser les limitations des solutions actuelles de l’état de l’art, parmi lesquelles : –      La reconstruction rapide et robuste de modèle surfaciques (SDF) –      La reconstruction rapide et précise d’objets déformables Le second objectif consistera à mettre au point un processus exploitant les reconstructions Neural Fields (segmentation de l’objet 3D, génération de vues d’apprentissage) pour la localisation 3D à partir d’une seule image couleur tout d’abord dans le cas d’objets rigide, puis dans le cas d’objets déformables. L’étudiant pourra s’appuyer sur l’expertise et les briques technologiques du laboratoire en termes de reconstruction 3D et de localisation 3D. Compétences développées au cours du stage Ce stage permettra à l’étudiant de découvrir différents domaines de recherche en intelligence artificielle : la localisation d’objet 3D, la reconstruction 3D,  la segmentation 3D... L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants. Bibliographie: [IntantNGP] Müller, T., Evans, A., Schied, C., & Keller, A. (2022). Instant neural graphics primitives with a multiresolution hash encoding. ACM Transactions on Graphics (ToG), 41(4), 1-15. [Neuralangelo] Li, Z., Müller, T., Evans, A., Taylor, R. H., Unberath, M., Liu, M. Y., & Lin, C. H. (2023). Neuralangelo: High-Fidelity Neural Surface Reconstruction. CVPR 2023

Laboratoire de Vision pour la Modélisation et la Localisation (LVML) Le laboratoire LVML, rattaché au #CEA-List, mène des recherches en vision par ordinateur et intelligence artificielle. Nous adressons en particulier les problématiques suivantes : - Géolocalisation et cartographie d'environnement par vision et fusion de capteurs (robotique mobile, drones…) - Systèmes et de vision pour la robotique : préhension, manipulation, assemblage d'objets… - Contrôle de conformité, détection de défauts géométriques, colorimétriques, etc… - Analyses hyperspectrales : détection de matériaux, tri, …. - Correction, amélioration d'images et vidéos ( superrésolution, upframing, …) - Compression de réseaux de neurones - …

Le candidat devra disposer d’une bonne maîtrise de python et d’une forte connaissance en réseau de neurones. Une expérience sur Pytorch sera appréciée.

Bac+5 - Master 2

fr_FRFR

Contact us

We will reply as soon as possible...