Interactions lumineuses par ray tracing entre des modèles 3D et une scène 3D Gaussian spaltting. H/F

Description de l'offre : Le but de ce stage est de mettre en scène des objets modélisés via des maillages triangulaires dans des environnements complexes représentés par des 3D Gaussian Splatting. Afin de ne pas rompre l'expérience immersive, il est important de simuler les interactions lumineuses entre les objets et la scène par ombres portées ou reçues, réflexions, réfractions etc.. voir [3] pour une première tentative non interactive basée NeRF. Nous nous proposons de nous appuyer sur les moteurs de rendus ray tracing disponibles dans des plateformes telles qu'Unreal, pour ajouter d'une part la visualisation des 3D Gaussian Splat [4], [5] et [6], ainsi que la simulations d'interactions lumineuses en lançant des rayons secondaires [6]. Ce stage s'effectuera en collaboration avec celui d'un autre stagiaire qui travaillera à l'entrainement de scènes 3D Gaussian Splat à partir d'images et un rendu différentiable en ray tracing. [3] Qiao, Y. L., Gao, A., Xu, Y., Feng, Y., Huang, J. B., Lin, M. C. (2023). Dynamic Mesh-Aware Radiance Fields. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 385-396). [4] Mai, A., Hedman, P., Kopanas, G., Verbin, D., Futschik, D., Xu, Q., ... Zhang, Y. (2024). EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis. arXiv preprint arXiv:2410.01804. [5] Blanc, H., Deschaud, J. E., Paljic, A. (2024). RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis. arXiv preprint arXiv:2408.03356.

Présentation de l’institut : Au cœur du Plateau de Saclay, l'institut CEA LIST focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie). Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).

Profil du candidat : Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche. Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

Diplome préparé : Bac+5 - Master 2