EQ-Bench – Le benchmark de l’intelligence émotionnelle des IA
Sam Paech s’est rendu compte qu’on testait toujours les IA sur le code, les maths, et à qui
battra un prochain record
, mais presque jamais sur leur capacité à comprendre les émotions humaines ou à pondre un texte qui ne sente pas le slop de bot à plein nez. Et c’est pour ça qu’il a monté
EQ-Bench
, un benchmark qui note l**’intelligence émotionnelle des grands modèles de langage**.
Pour alimenter son benchmark, il colle tout un tas de modèles dans des jeux de rôle un peu tordus (45 scénarios dans sa dernière version) et c’est un autre modèle (Claude, en l’occurrence) qui joue l’examinateur. Il note alors chaque réponse sur huit dimensions, telles que l’empathie, la finesse sociale ou la capacité à poser une limite quand il faut, puis nous sort un classement façon Elo (le classement des échecs). Tout est open source, documenté dans un
papier de recherche
et Paech finance ce bazar avec ses propres deniers.
