{"id":12799,"date":"2026-10-06T09:00:10","date_gmt":"2026-10-06T07:00:10","guid":{"rendered":"https:\/\/talentimpulse.cea.fr\/offre-emploi\/stage-pruning-de-tokens-quantization-aware-pour-vision-transformers-embarques-saclay-h-f\/"},"modified":"2026-11-16T18:45:21","modified_gmt":"2026-11-16T17:45:21","slug":"stage-pruning-de-tokens-quantization-aware-pour-vision-transformers-embarques-saclay-h-f","status":"publish","type":"offre-emploi","link":"https:\/\/talentimpulse.cea.fr\/en\/offre-emploi\/stage-pruning-de-tokens-quantization-aware-pour-vision-transformers-embarques-saclay-h-f\/","title":{"rendered":"Stage Pruning de tokens quantization-aware pour Vision Transformers embarqu\u00e9s -Saclay-H\/F"},"content":{"rendered":"<p>Description du poste : Les Vision Transformers (ViT) atteignent d\u2019excellentes performances sur de nombreuses t\u00e2ches de vision, mais leur co\u00fbt de calcul et leur empreinte m\u00e9moire compliquent leur d\u00e9ploiement sur des plateformes embarqu\u00e9es. Parmi les techniques permettant de r\u00e9duire leur complexit\u00e9, le pruning de tokens [1] vise \u00e0 supprimer dynamiquement les tokens les moins informatifs, tandis que la quantification [2] r\u00e9duit la pr\u00e9cision num\u00e9rique des poids et des activations. Ces deux approches sont cependant g\u00e9n\u00e9ralement \u00e9tudi\u00e9es s\u00e9par\u00e9ment alors qu&rsquo;elles sont compl\u00e9mentaires plut\u00f4t que concurrentes. Des travaux r\u00e9cents montrent qu\u2019elles peuvent \u00eatre fortement interd\u00e9pendantes et gagner \u00e0 \u00eatre con\u00e7ues conjointement [3,4]. \u00a0Qu\u2019attendons-nous de vous\u00a0? L\u2019objectif de ce stage est de d\u00e9velopper une m\u00e9thode de pruning de tokens quantization-aware et hardware-aware. Le travail consistera d\u2019abord \u00e0 caract\u00e9riser l\u2019impact de la quantification sur la s\u00e9lection et l\u2019importance des tokens, puis \u00e0 d\u00e9velopper une strat\u00e9gie de pruning tenant compte \u00e0 la fois de leur contribution \u00e0 la t\u00e2che et de leur sensibilit\u00e9 \u00e0 la basse pr\u00e9cision. L\u2019objectif sera ainsi d\u2019\u00e9tudier la co-optimisation du pruning et de la quantification plut\u00f4t que leur application ind\u00e9pendante. La dimension hardware-aware visera \u00e0 transformer les r\u00e9ductions de complexit\u00e9 algorithmique en gains r\u00e9els sur la plateforme cible, notamment en termes de latence et d\u2019empreinte m\u00e9moire. La granularit\u00e9 du pruning, la structure des tenseurs, le budget de tokens ainsi que le caract\u00e8re dynamique ou statique de la strat\u00e9gie seront \u00e9tudi\u00e9s en fonction de leur efficacit\u00e9 d\u2019ex\u00e9cution et de leur compatibilit\u00e9 avec les kernels et le compilateur. Les d\u00e9veloppements seront int\u00e9gr\u00e9s dans Aidge, la plateforme de deep learning d\u00e9velopp\u00e9e au laboratoire pour l\u2019optimisation et le d\u00e9ploiement de r\u00e9seaux de neurones sur syst\u00e8mes embarqu\u00e9s. Le travail comprendra l\u2019\u00e9tude de l\u2019\u00e9tat de l\u2019art, le d\u00e9veloppement et l\u2019int\u00e9gration des m\u00e9thodes propos\u00e9es, puis leur validation sur cible\u00a0en termes de pr\u00e9cision, complexit\u00e9, latence, empreinte m\u00e9moire et surco\u00fbt du pruning. R\u00e9f\u00e9rences: [1] Bercy, V., Poreba, M., Szczepanski, M., Bouchafa, S.: G2TM: Single-module graph-guided token merging for efficient semantic segmentation. In: Proceedings of the 21st International Conference on Computer Vision Theory and Applications (VISAPP), pp. 43\u201354. (2026). [2] Sassoon, J., Szczepanski, M., Poreba, M.: I-Segmenter: Integer-only Vision Transformer for efficient semantic segmentation. Journal of Systems Architecture 178, 103888 (2026). [3] Wang, X., Xia, Z., Lin, Z., Li, Z., Wang, Y.: QAPruner: Quantization-Aware Vision Token Pruning for Multimodal Large Language Models. (2026). arXiv:2604.02816. [4] Fan, X., Ma, Y., Chen, Z., Liu, H.: A Hardware Efficient Joint Compression Framework for Vision Transformers. IEEE Access, vol. 14, (2026). #Cea-List<\/p>","protected":false},"featured_media":0,"template":"","categories":[165],"tags":[],"class_list":["post-12799","offre-emploi","type-offre-emploi","status-publish","hentry","category-nouveaux-paradigmes-informatiques-dont-calcul-quantique"],"acf":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/talentimpulse.cea.fr\/en\/wp-json\/wp\/v2\/offre-emploi\/12799","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/talentimpulse.cea.fr\/en\/wp-json\/wp\/v2\/offre-emploi"}],"about":[{"href":"https:\/\/talentimpulse.cea.fr\/en\/wp-json\/wp\/v2\/types\/offre-emploi"}],"wp:attachment":[{"href":"https:\/\/talentimpulse.cea.fr\/en\/wp-json\/wp\/v2\/media?parent=12799"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/talentimpulse.cea.fr\/en\/wp-json\/wp\/v2\/categories?post=12799"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/talentimpulse.cea.fr\/en\/wp-json\/wp\/v2\/tags?post=12799"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}