Anthropic a repéré la petite zone où Claude pense en douce
Oulala, Anthropic vient de publier
une jolie page de recherche
qui fait beaucoup causer. En effet, son équipe d’interprétabilité a repéré, à l’intérieur de ses modèles Claude, une toute petite zone où le modèle rassemble ses pensées intermédiaires, c’est-à-dire celles qu’il est capable de nommer et de manipuler. Ils l’appellent le J-space, et c’est leur version du fameux
espace de travail global
qu’on décrit dans le cerveau humain.
Pour aller le fouiller, ils ont bricolé une technique baptisée Jacobian lens. En gros, elle mesure comment chaque bout d’activité interne du modèle pousse vers tel ou tel mot à venir, ce qui permet d’isoler les concepts que Claude sait verbaliser. Et ce qui remonte à la surface, ce ne sont ni les mots que vous tapez ni la réponse finale, mais des jugements en cours de route. Par exemple reconnaître un visage sur une photo, repérer un bug dans du code, deviner la fonction d’une protéine à partir de sa séquence…. tout ça se trame là, en silence, avant le moindre mot affiché.
