Anthropic a repéré la petite zone où Claude pense en douce
Oulala, Anthropic vient de publier
une jolie page de recherche
qui fait beaucoup causer. En effet, son équipe d’interprétabilité a repéré, à l’intérieur de ses modèles Claude, une toute petite zone où le modèle rassemble ses pensées intermédiaires, c’est-à-dire celles qu’il est capable de nommer et de manipuler. Ils l’appellent le J-space, et c’est leur version du fameux
espace de travail global
qu’on décrit dans le cerveau humain.
Pour aller le fouiller, ils ont bricolé une technique baptisée Jacobian lens. En gros, elle mesure comment chaque bout d’activité interne du modèle pousse vers tel ou tel mot à venir, ce qui permet d’isoler les concepts que Claude sait verbaliser. Et ce qui remonte à la surface, ce ne sont ni les mots que vous tapez ni la réponse finale, mais des jugements en cours de route. Par exemple reconnaître un visage sur une photo, repérer un bug dans du code, deviner la fonction d’une protéine à partir de sa séquence…. tout ça se trame là, en silence, avant le moindre mot affiché.
Et ce qui est fou c’est que ce J-space encode parfois le fait que Claude a remarqué qu’on était en train de le tester. Et quand les chercheurs désactivent ces représentations-là, ils voient ressortir des penchants problématiques que le modèle gardait très bien planqués. Autrement dit, on tient un moyen de lire ce qu’une IA fabrique dans sa tête, et pas seulement ce qu’elle finit par nous répondre.
Maintenant, arrêtez de fantasmer car NON, ça ne prouve pas que Claude est conscient, et Anthropic prend soin de ne pas franchir cette ligne. Ils parlent d’un analogue purement fonctionnel de l’espace de travail global et refusent explicitement de se prononcer sur la question du ressenti. Le mot conscience fait de jolis titres sur vos médias préférés, mais leur document de recherche, lui, reste très prudent.
Le vrai intérêt est ailleurs, dans l’interprétabilité. Anthropic est déjà la boîte qui
dissèque le cerveau de ses modèles
et qui
étudie les LLM comme des aliens
et là elle se donne une vraie fenêtre pour lire, disséquer et même orienter la pensée de ses IA. On n’est plus sur des histoires de boites noires… Pour auditer un modèle, repérer une tromperie ou un biais avant même qu’il ouvre la bouche, c’est donc beaucoup plus utile qu’un débat sur l’âme des machines.
Le procédé a bien sûr des limites, puisque la Jacobian lens ne repère que les concepts que le modèle sait résumer en un mot, ce qui veut dire que tout un pan de raisonnement plus diffus lui échappe encore.
Mais bon, même si on n’a pas encore de Claude conscient à l’horizon, comme je vous le disais, cette histoire de boîte noire, c’est de l’histoire ancienne maintenant. On va enfin pouvoir détecter quand une IA nous cache des trucs et je trouve ça assez rassurant pour l’avenir.
Leave a Comment