Un agent IA a mené 700 expériences en deux jours pour améliorer un modèle de langage
Andrej Karpathy, ancien chercheur chez OpenAI et ex-responsable de l’IA chez Tesla, a laissé tourner un agent IA pendant 48 heures sur un petit modèle de langage. Résultat : 700 expériences, 20 optimisations retenues et un gain de 11 % sur le temps d’entraînement.
Le principe d’autoresearch
Mais c’est quoi ce concept d’autoresearch ? Et bien le fonctionnement est assez direct : un agent IA reçoit un script d’entraînement de 630 lignes en Python et un budget de calcul fixe de 5 minutes par expérience sur un seul GPU. Et c’est là que l’agent se met en mouvement pour lire le code, formuler une hypothèse, modifier le script, lancer l’entraînement, évaluer le résultat, et surtout décider, ou non, de conserver une modification.

