Accélération matérielle des fonctions non linéaires pour l'inférence Vision Transformer (ViT)

Candidater

Le stage concerne le développement de matériel dédié pour accélérer les fonctions non linéaires pour l'inférence de transformateur de vision (ViT). Les ViT sont largement utilisés dans le domaine de la vision par ordinateur (CV) pour, par exemple, la classification d'images, la détection d'objets et la segmentation d'images... Une image d'entrée pour ViT est divisée en un ensemble de patchs d'image, appelés « jetons visuels ». Les jetons visuels sont intégrés dans un ensemble de vecteurs codés de dimension fixe. La position d'un patch dans l'image est intégrée au vecteur codé et introduite dans le réseau d'encodeurs du transformateur. L'encodeur ViT comprend plusieurs blocs, dont chacun se compose de trois éléments de traitement principaux : la normalisation de couche, le réseau d'auto-attention multi-têtes (MSA) et le perceptron multicouche (MLP). Ces différents éléments de traitement incluent plusieurs fonctions non linéaires, telles que la normalisation de couche, Softmax et l'activation GELU, qui effectuent des opérations telles que l'exponentielle, la tangente hyperbolique et la division. Lorsqu'elles sont implémentées dans le matériel, ces fonctions introduisent une latence importante et nécessitent une quantité substantielle de ressources, entraînant une augmentation significative de la consommation d'énergie. Dans le cadre de ce stage, le candidat proposera une architecture matérielle adaptée aux fonctions non linéaires. Cette architecture devrait réduire la complexité de calcul, la consommation d'énergie et l'utilisation des ressources tout en conservant une précision raisonnable. Cette partie du stage permettra au candidat d'analyser le modèle du transformateur de vision (ViT) et de caractériser les fonctions non linéaires qui constituent le codeur. Cette analyse lui permettra de proposer une solution optimisée pour mettre en œuvre ces fonctions. Pour l'évaluation des performances, le candidat développera le matériel de la solution proposée et l'implémentera sur FPGA. Les résultats du stage pourraient être publiés dans une conférence internationale. Ce stage permettra au candidat d'acquérir des connaissances dans le domaine des réseaux de neurones et de développer des compétences en conception matérielle et en implémentation de FPGA.

Requested profile:     Master's degree (BAC+5) Skills: VHDL, C/C++, AI, Computer Vision, DNN Required documents: CV + cover letter + rankings

Bac+5 - Diplôme École d'ingénieurs

Anglais Courant,Français Courant

fr_FRFR

Contact us

We will reply as soon as possible...