SkillEvaluator – Vos skills IA ont peut-être un YAML pété ?
Avant toutes choses, veuillez pardonner mon absence de ces derniers jours car j’étais en déplacement au Cambodge (l’article arrive bientôt). Me voici donc de retour sur le sol français et pendant que j’attends mon train, je me suis dit que ce serait rigolo de tester
, un nouvel outil open source (Apache 2.0) que NVIDIA a présenté en août et qui permet de contrôler les skills des agents IA.
Alors si l’IA c’est pas votre truc, je vous explique ce que sont des skills. En anglais, ça veut dire “compétences” et ce sont ni plus ni moins que des dossiers contenant des instructions que Claude Code ou Codex vont chercher quand une tâche s’y prête.
Le premier contrôle effectué par SkillEvaluator est statique. Il contrôle la structure, la qualité, et bien sûr la sécurité de vos skills. Ensuite, deux autres cherchent les doublons, puis lancent un vrai agent dans une sandbox Docker, une fois avec le skill et une fois sans, pour mesurer ce que ça change et vérifier que tout est bien OK. Et ces deux-là demandent un accès à un modèle, plus Docker pour le dernier.
Dans SkillEvaluator il y a surtout un harness-check, qui prédit en une seconde, sans clé API Nvidia et sans avoir à lancer d’agent, si Claude Code, Codex, Copilot CLI, Hermes, OpenClaw et OpenCode vont charger correctement vos skills. Pour ma part, j’ai surtout passé mes propres skills dans l’outil “quality-check” et voici ce que ça donne…
Côté quality-check, tout passe nickel !
quality-check sur mes douze skills
Sauf que les deux skills les mieux notés, pangram et zine, ont un défaut que les autres n’ont pas : leur description contient un deux-points suivi d’une espace (“relecture : là”), sans guillemets, et un parseur YAML strict refuse alors le fichier. Mettez donc vos descriptions entre guillemets droits, ça suffit. C’est le contrôle de schéma qui le voit, pas la note de qualité, qui saute ses contrôles de description quand elle n’arrive pas à lire le fichier :
pip install skillevaluator
skillevaluator tier1 ./mon-skill --no-llm --checks schema,quality

Le contrôle de schéma échoue sur le YAML
harness-check, lui, annonçait que Codex ne chargerait pas ce skill cassé, alors que mon Codex, un peu plus ancien que la version de son profil, le charge très bien. Ce sont des prédictions, l’outil le dit lui-même, donc prenez ses verdicts, comme la note de qualité, pour des indices et pas pour des feux verts.
Pour les deux autres étages, il vous faudra une clé chez un fournisseur de modèles (j’ai pris NVIDIA Build) et Docker, que j’ai installé avec Colima sur le Mac mini :
pip install "skillevaluator[all]"
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-...'
skillevaluator doctor --env-mode docker
En version complète, le premier étage a aussi repéré un chemin /Users/korben/ oublié dans mon guide de style, et le deuxième six paires de skills qui se ressemblent, topo et triage en tête. Rien de grave, mais c’est le genre de voisinage qui fait hésiter un agent au moment de choisir.
Le troisième étage est le plus intéressant : l’agent OpenCode traite dix cas deux fois dans Docker, avec et sans le skill, et un juge note les deux. Sur korben-style, mon guide de style, il atteint l’objectif 7 fois sur 10 avec le skill, contre 5 sans. Sauf qu’il ne l’a chargé que dans 3 cas sur 8, alors que chaque demande parlait de Korben, et pangram n’a été chargé qu’une fois sur 7. Et réécrire la description de korben-style pour dire quand s’en servir n’a pas fait mieux sur les cas que le juge a pu noter.

Le rapport de l’étage 3 sur korben-style : 7 objectifs atteints sur 10 avec le skill, 5 sans (capture : Korben)
Comptez une bonne demi-heure par skill, et avec NVIDIA Build, montez le délai du juge (SKILL_EVAL_LLM_JUDGE_BUDGET_SEC=600) et attendez-vous à quelques erreurs 429 à relancer.
Bref, c’est ce troisième étage qui m’a appris le plus : un skill bien noté ne sert à rien si l’agent ne le charge pas, et aucune note statique ne vous le dira. Donc testez les vôtres avec l’agent que vous utilisez vraiment.

Leave a Comment