La méthode 3D Gaussian splatting [1,2], de la même manière que les NeRFs (neural radiance field) ou les méthodes classiques de photogrammetrie, permettent de reconstruire une scène 3D photoréaliste à partir d’un ensemble de photos ou d’une vidéo. Sortie très récemment à la conférence siggraph 2023, cette méthode est en train de révolutionner le monde de la VR (réalité virtuelle) car leur rendu est interactif et compatible avec les fréquences nécessaires au bon fonctionnement des casques de VR. Cependant, cette méthode qui a pour cœur une optimisation basée vision à partir d’images 2D recalées manque de précision au niveau de la reconstruction 3D. C’est pourquoi il est envisagé de coupler les captations image et/ou video avec une captation lidar [3,4] afin d’améliorer cette reconstruction. Ce stage consistera à se familiariser avec la méthode des 3DGS, à proposer des solutions pour se baser sur les données LIDAR afin d’améliorer la reconstruction 3D et tester les solutions développées dans les environnements Unity et/ou Unreal Engine. [1] Kerbl, Bernhard and Kopanas, Georgios and Leimkühler, Thomas and Drettakis, George (2023). 3d gaussian splatting for real-time radiance field rendering. In Proceedings of ACM Transactions on Graphics (ToG). [2] https://medium.com/axinc-ai/3d-gaussian-splatting-real-time-rendering-of-photorealistic-scenes-f7f1a47f060 [3] Konstantinos Rematas and Andrew Liu and Pratul P. Srinivasan and Jonathan T. Barron and Andrea Tagliasacchi and Thomas Funkhouser and Vittorio Ferrari (2021). Urban Radiance Fields. [4] https://urban-radiance-fields.github.io/
Au cœur du Plateau de Saclay (Île-de-France), l'institut CEA LIST focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie). Dédiés à la recherche technologique, les 700 ingénieurs-chercheurs et techniciens de l'Institut ont pour objectif de favoriser l'innovation et son transfert autour de partenariats industriels pérennes. Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels .
Niveau demandé : Ingénieur, Master 2 recherche Durée : 6 mois Rémunération : Entre 700€ et 1300€ suivant la formation Lieu du stage : CEA LIST, Nano-Innov, Palaiseau Compétences requises : Python, C++, Cuda, mathématiques appliquées, bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche. Rejoignez-nous #CEA-List !
Bac+5 - Diplôme École d'ingénieurs
Français Courant,Anglais Courant
Talent impulse, le site d’emploi scientifique et technique de la Direction de la Recherche Technologique du CEA
© Copyright 2023 – CEA – TALENT IMPULSE – Tous droits réservés
