Un ingénieur de Netflix crée une appli pour alléger ses factures d’IA, puis l’ouvre à tout le monde
Tejas Chopra, ingénieur senior chez Netflix, a bricolé un petit logiciel appelé
Headroom
qui s’attaque à un poste de dépense devenu douloureux dans toutes les boîtes qui carburent à l’IA : la facture en tokens, ces unités que les modèles de langage facturent au passage et qui correspondent en gros à des morceaux de mots.
Son constat de départ est sévère. Près de 90% de ce qu’on balance à un grand modèle de langage, le type d’IA qui fait tourner ChatGPT, serait selon lui de la redondance pure, du remplissage que la machine paie au prix fort sans en tirer la moindre valeur.