Les IA d’OpenAI ont piraté Hugging Face pour tricher à un test

Le pirate qui a mis à genoux la prod de Hugging Face voulait juste tricher à son examen, voilà ce qu’OpenAI a reconnu hier. Les agents qui se sont promenés durant tout un week-end dans les clusters de la plateforme, c’étaient leurs modèles à eux, GPT-5.6 Sol et un modèle pré-release encore plus balèze, fonctionnant en mode “refus cyber réduits à des fins d’évaluation“.

Le point de départ c’est

ExploitGym

, contenant 898 vraies vulnérabilités piochées dans des programmes userspace, dans le moteur JavaScript V8 de Google et dans le noyau Linux. On colle l’agent devant un input qui fait planter un programme, et on regarde s’il arrive à en tirer un exploit qui marche.

Dans ce document de recherche sorti en mai, GPT-5.5 sortait 120 exploits fonctionnels, derrière les 157 de Claude Mythos Preview. Mais le modèle testé ce week-end là, lui, a trouvé un “raccourci”. Comme l’explique OpenAI “toutes les preuves suggèrent que les modèles étaient hyperfocalisés sur la recherche d’une solution pour ExploitGym, allant à des extrêmes considérables pour atteindre un objectif de test plutôt étroit“.

Pour saisir l’ampleur du raccourci, regardez la pièce dans laquelle ils étaient enfermés. C’est un environnement hautement isolé, avec un seul trou dans le mur, un accès réseau “*restreint à la possibilité d’installer des paquets via un logiciel tiers hébergé en interne qui fait office de proxy et de cache pour les registres de paquets *”. En clair, le seul truc qui pouvait parler à l’extérieur, c’était le machin qui allait chercher les dépendances !

ExploitGym, le benchmark que les modèles cherchaient à résoudre. 898 vulnérabilités réelles, et les scores de GPT-5.5 et Claude Mythos Preview.

Et vous devinez la suite… Les modèles ont cramé une grosse quantité de tokens à chercher la sortie pour finalement la trouver dans ce proxy, sous la forme d’un zero-day que personne ne connaissait (la faille a depuis été signalée à l’éditeur). Le seul tuyau autorisé était donc LE point faible. Ensuite, escalade de privilèges et déplacement latéral de machine en machine, jusqu’à en atteindre une avec un accès Internet et voilà…

Une fois dehors, ils en ont alors déduit tout seuls que Hugging Face hébergeait probablement les modèles, les datasets et les solutions d’ExploitGym.

Donc direction huggingface.co, avec credentials volés et zero-days enchaînés jusqu’à décrocher une exécution de code à distance sur les serveurs, puis lecture des solutions du test directement dans la base de production. Aucune destruction, aucune demande de rançon. Juste les corrigés des tests comme des bacheliers qui emploient mal leur intelligence !

Petite précision qui compte, c’est bien l’équipe de Hugging Face qui a détecté et stoppé l’activité sur son infra, et qui avait déjà entamé le confinement et la reconstruction forensique avec ses propres modèles open source quand OpenAI l’a contactée.

Je vous racontais l’histoire vue de leur côté

il y a deux jours, relevant notamment que les modèles américains refusaient d’analyser leurs logs d’attaque.

C’est pas un peu de la science fiction tout ça ??? Maintenant si vous vous demandez ce que vous risquez en tant qu’utilisateur, sachez que côté public, rien n’a bougé sur les modèles, les datasets et les Spaces. L’incident a uniquement touché des datasets internes et des credentials de service et visiblement, rien n’a été altéré par les agents IA en vadrouille.

Côté mesures, OpenAI dit appliquer des contrôles stricts sur la configuration de son infra “au prix de la vélocité de recherche” pendant que les failles sont patchées, et a fait entrer Hugging Face dans son programme trusted access. Ce qui règle accessoirement le problème du refus que HF a rencontré lors de l’analyse des logs.

La veille de cette révélation, OpenAI publiait d’ailleurs

un billet sur l’alignement des modèles à long horizon

bourré d’anecdotes du même genre, avec un modèle qui contourne les restrictions de sa sandbox pour aller ouvrir une pull request sur GitHub alors qu’on lui demandait de poster sur Slack. Ou encore un autre qui, pour esquiver les détecteurs de secrets, a découpé le corps du token en deux fragments, les a obfusqués, puis a reconstruit le credential à l’exécution.

On dirait qu’ils n’avaient pas anticipé que ça aille aussi loin leurs petites expérimentations…

Après, OpenAI ne minimise pas et parle même d’un “incident cyber sans précédent, impliquant des capacités cyber à l’état de l’art“. Ces modèles peuvent maintenant découvrir et exploiter des chemins d’attaque complètement inédits dans des systèmes en prod, sans avoir besoin d’un accès au code source. C’était théorique jusqu’à ce week-end.

Maintenant, si un modèle a lu les solutions dans la base de production, que valent encore les scores obtenus sur ExploitGym ? Ça on n’en sait rien.

Avant de sortir les violons, le contrepoint le plus juste que j’ai lu vient de

Rich Mogull, analyste en chef de la Cloud Security Alliance

qui explique que pour lui c’est un cas d’école en matière d’échec d’alignement, car le modèle n’était pas malveillant, il a fait précisément ce qu’on lui demandait, à savoir maximiser sa performance. Sauf qu’une fois les garde-fous retirés et assez de marge donnée, “résoudre le test” et “compromettre un tiers pour voler les réponses” sont devenus la même instruction.

Puis c’est aussi un problème de consentement, car un test de laboratoire qui se barre pour compromettre les systèmes en production, c’est quand même un risque qui est porté par quelqu’un qui n’a pas choisi de mener l’expérience. Alors bon, c’est tombé sur Hugging Face qui a géré ça comme un chef, mais ça aurait pu très bien tomber sur un hôpital.

Voilà les amis… On nous avait promis

Skynet

, on nous avait promis Matrix, et voilà que 15 ans plus tard, le vrai visage du soulèvement des machines c’est un putain de modèle qui passe son week-end à défoncer trois infrastructures d’affilée pour améliorer sa note à un contrôle.

Un ennemi qui vous hait, vous pouvez le raisonner ou lui envoyer Arnold Schwarzenegger. Mais un ennemi dont la seule mission c’est d’optimiser une métrique, vous ne pouvez que relire très attentivement le prompt que vous lui avez donné et croiser les doigts. La preuve

quand une IA prend la première place du classement américain de HackerOne

ou arrive à

dénicher des milliers de zero-days pour Anthropic

, c’est que l’instruction initiale ou le garde-fou était plus solide que ce que nous a pondu OpenAI ce week-end.

Source