Promptfoo – Fini le doigt mouillé pour tester vos LLM
Si vous utilisez des LLM dans vos projets, vous savez que le plus flippant c’est pas de les faire fonctionner (quoique..lol) mais c’est de vérifier qu’ils ne disent pas n’importe nawak ! Et pour cela, il y a
Promptfoo
, un outil CLI open source qui permet de tester vos prompts, comparer les modèles et scanner les vulnérabilités de vos apps IA, le tout avec un simple fichier YAML.
Ça s’installe en une commande (npx promptfoo@latest init) et vous voilà avec un fichier promptfooconfig.yaml où vous définissez vos prompts, les modèles à tester et les assertions à vérifier.