Mise en cohérence de l'éclairage pour des scènes neurales composites H/F

Description de l'offre : Une première difficulté est que les représentations de type NeRF apprennent à la fois la géométrie et l'apparence de façon entremêlées. Une seconde difficulté concerne les possibles occlusions qui empêchent d'apprendre l'entièreté d'un objet. Dès lors, lors de l'édition d'une scène, le rendu pourra devenir incohérent au niveau des ombres portées, des interactions lumineuses en général. De plus les objets déplacés pourront laisser un vide à leur emplacement original. Le stage consistera donc dans un premier temps à étudier la bibliographie des solutions apportées à ce problème (voir [2], [3] et [4] par exemple pour la composition de scènes, et [5] pour de la suppression d'objets). On se concentrera sur des solutions de rendus mixtes basées à la fois sur des rendus volumiques (type NeRF ou Gaussian Splatting [6]) et du monte carlo path tracing comme dans [7] et [8]. Ce travail selon ses résultats pourra faire l'objet d'une publication scientifique. 1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020. [2] Guo, M., Fathi, A., Wu, J., Funkhouser, T. (2020). Object-centric neural scene rendering. arXiv preprint arXiv:2012.08503. [3] Yu, H. X., Guo, M., Fathi, A., Chang, Y. Y., Chan, E. R., Gao, R., Wu, J. (2023). Learning object-centric neural scattering functions for free-viewpoint relighting and scene composition. arXiv preprint arXiv:2303.06138. [4] Gao, X., Yang, Z., Zhao, Y., Sun, Y., Jin, X., Zou, C. (2023). A General Implicit Framework for Fast NeRF Composition and Rendering. arXiv preprint arXiv:2308.04669. [5] Weder, S., Garcia-Hernando, G., Monszpart, A., Pollefeys, M., Brostow, G. J., Firman, M., Vicente, S. (2023). Removing objects from neural radiance fields. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 16528-16538). [6] Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ToG), 42(4), 1-14. [7] Zhu, J., Huo, Y., Ye, Q., Luan, F., Li, J., Xi, D., Wang, R. (2023). I2-SDF: Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 12489-12498). [8] Qiao, Y. L., Gao, A., Xu, Y., Feng, Y., Huang, J. B., Lin, M. C. (2023). Dynamic Mesh-Aware Radiance Fields. arXiv preprint arXiv:2309.04581.

Présentation de l’institut : Au cœur du Plateau de Saclay, l'institut #CEA-List focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie). Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).

Profil du candidat : Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.

Diplome préparé : Bac+5 - Diplôme École d'ingénieurs

Langues : Anglais Courant