Post-doctorat en interprétabilité mécaniste et diversité des représentations

Le projet explore cette question sur deux plans complémentaires : la diversité des données, soit le choix des exemples que l'on annote, conserve ou présente au modèle ; et la diversité des représentations, soit le choix des descripteurs, des contextes et des modèles que l'on exploite ou combine. Les premiers résultats portent sur le décodage diversifié des modèles de langue à diffusion discrète et sur la localisation de l'information dans les représentations des transformers. Le poste proposé porte sur le second plan, abordé par les outils de l'interprétabilité mécaniste. Page du projet : https://bastienpasdeloup.github.io/endive/ MISSIONS Les missions principales du poste sont les suivantes : Définir et évaluer des critères de diversité dans l'espace des représentations des modèles de fondation, en s'appuyant sur les outils de l'interprétabilité mécaniste. 2. Étudier le lien entre la diversité des données d'entraînement et la diversité des mécanismes internes que les modèles acquièrent. 3. Contribuer à la production et à la diffusion scientifiques du projet. ACTIVITÉS : Critères de diversité dans les représentations : • Entraîner et analyser des autoencodeurs parcimonieux sur les activations de modèles de fondation, afin d'en extraire des descripteurs interprétables. • Construire des noyaux de similarité entre ces descripteurs et évaluer, au moyen de processus ponctuels déterminantaux, si un sous-ensemble divers en fournit une couverture plus compacte que la seule importance individuelle. • Mesurer l'effet de ces critères sur des tâches aval en régime peu annoté, et comparer les profondeurs du réseau auxquelles les représentations sont lues. 2. Diversité des données et diversité des mécanismes : • Comparer les descripteurs retrouvés par des autoencodeurs parcimonieux entraînés sur des modèles nourris de régimes de données différents, et quantifier leur recouvrement. • Évaluer la stabilité de ces descripteurs d'un entraînement à l'autre, afin de distinguer les mécanismes reproductibles des artefacts d'optimisation. • Mettre ces mesures en relation avec les procédures de curation étudiées dans le projet, en particulier pour les modèles de langage à diffusion discrète. 3. Production scientifique et vie du projet : • Rédiger et soumettre les résultats obtenus dans des conférences et revues internationales. • Publie le code et les protocoles expérimentaux nécessaires à la reproductibilité des résultats.