Apprentissage multimodal incrémental embarqué

Nous nous intéressons dans ce projet de thèse à la phase d'apprentissage en étudiant les capacités d'apprentissage en-ligne de ces architectures neuromorphiques. Des données de différents capteurs (multimodales) peuvent déceler des évolutions dans les données et l'environnement qui les génère. Ces changements peuvent nécessiter un apprentissage incrémental du réseau de neurone sous-jacent pour soit ajuster son modèle à de nouvelles conditions, soit apprendre de nouvelles catégories selon le problème traité. Dans tous les cas ce ré-apprentissage doit alors se faire en un temps et un budget énergétique réduit. Le problème de l'apprentissage en-ligne doit faire face à plusieurs obstacles encore aujourd'hui sans consensus dans la littérature : la détection de nouveauté, l'apprentissage sans ou avec peu de labels, l'oubli catastrophique face à un apprentissage continu de nouvelles données. Le cerveau biologique gère pourtant naturellement les évolutions constantes de notre environnement depuis notre plus jeune âge jusqu'à l'âge adulte. Ses capacités de plasticité sont nombreuses et se révèlent à plusieurs niveaux de son organisation. Il exploite notamment les corrélations spatio-temporelles provenant des différentes modalités sensorielles qui lui servent à appréhender son environnement. Ses modalités fusionnent et se complètent tout en étant traitées et acheminées par des voies neurales différentes. Nous souhaitons donc étudier dans ce projet comment la projection entre les modalités peut aider à améliorer la qualité d'un apprentissage tout au long de la vie, en surmontant le problème d'oubli catastrophique tout en réduisant le besoin d'annotation de données.