Ajout automatique par WPeMatico
J’sais pas si vous saviez mais Apple a planqué un LLM dans votre Mac et ne veut pas que vous y touchiez… enfin, pas directement. En effet, leur modèle est là, intégré au système via le framework FoundationModels, il tourne sur le Neural Engine sans connexion internet mais Apple l’a verrouillé derrière Siri. Du coup, impossible de l’appeler depuis un script ou un pipe shell et c’est là qu’
apfel
intervient !
Vous faites tourner des LLMs en local comme le gros fifou de Hipster IA que vous êtes et, Ô drame, la VRAM de votre ordinateur explose dès que le contexte dépasse 8000 pauvres malheureux tokens ?
Le problème c’est le KV cache les amis ! Le KV cache c’est ce truc qui stocke les clés et valeurs d’attention et qui grossit linéairement avec la longueur du prompt. C’est pour gérer ce problème que Google a annoncé sous la forme d’un whitepaper uniquement un algo qui compresse tout ça de 3,8 à 6,4 fois… et youpi pour nous, y’a un dev qui l’a déjà implémenté dans
un fork de llama.cpp
.
Une faille découverte dans l’extension Chrome de Claude permettait à n’importe quel site web d’injecter silencieusement des prompts dans votre assistant IA. Pas besoin de cliquer, pas besoin de permission… non, fallait juste visiter une page web et c’était réglé. Le chercheur Oren Yomtov de
Koi Security
à l’origine de cette découverte, a baptisé ça “ShadowPrompt” et vous allez voir, c’est dingue.
En fait, cette attaque enchaînait deux failles. La première, c’est que l’extension acceptait les messages de n’importe quel sous-domaine en *.claude.ai, car Anthropic avait mis en place un allowlist trop permissif. Sauf qu’Arkose Labs, le fournisseur de CAPTCHA, hébergeait un composant sur a-cdn.claude.ai et malheureusement, ce composant contenait une jolie faille XSS bien classique. Celui-ci acceptait les postMessage sans vérifier l’origine, et le texte reçu était ainsi injectable via un
dangerouslySetInnerHTML
. Donc y’a bien ZERO validation côté client. Ouééééé !
Une nouvelle méthode d’attaque cible les IA de développement comme Copilot. En publiant de la documentation empoisonnée, des hackers trompent les modèles pour qu’ils recommandent des bibliothèques malveillantes. Cette menace invisible pour la sécurité est indétectable par les outils classiques.
Le concept est d’une simplicité désarmante. Plus besoin d’injecter du code malicieux dans un dépôt GitHub ou de trouver une faille zero-day complexe. Il suffit désormais de publier de la documentation technique faussée sur des forums, des wikis ou des fichiers README publics. Ces textes, une fois ingérés par les grands modèles de langage (LLM), deviennent une source de vérité pour l’IA qui assiste les développeurs au quotidien.
Des chercheurs de l’université de Californie du Sud viennent de publier une étude improbable : demander à un modèle d’IA de jouer les experts dégrade ses performances sur les tâches factuelles. Commencer un prompt par “Tu es un expert en programmation” produit de moins bons résultats que de poser la question directement.
L’étude, intitulée “Expert Personas Improve LLM Alignment but Damage Accuracy”, a mesuré l’impact des instructions de rôle sur les réponses des modèles de langage.
Si vous êtes comme votre blogueur préféré (hi hi) et que vous avez des tonnes de fichiers markdown qui traînent dans des dossiers obscurs depuis des années, voici l’outil parfait pour rendre tout ceci à nouveau utilisable dans la vraie vie.
En tout cas, c’est plus pratique qu’un grep !
Ça s’appelle QMD (Quick Markdown Search) et c’est un outil en ligne de commande dispo sur GitHub qui va indexer tout votre bazar de notes pour les rendre consultables rapidement. QMD combine la recherche plein texte classique (BM25) avec de la recherche vectorielle sémantique et du re-ranking via LLM, ce qui veut dire que c’est ultra puissant. On est un peu sur le même principe qu’un RAG en fait puisque l’IA locale est utilisée pour comprendre le sens de votre requête et pas juste chercher des chaînes de caractères bêtes et méchantes. J’utilise depuis un petit moment maintenant un système similaire avec
LEANN
pour indexer tous les articles de korben.info et retrouver des connexions entre mes contenus, et je peux vous dire que quand on goûte à la recherche sémantique, le bon vieux grep a un goût de carton.
Si vous cherchez un moyen de faire du clonage vocal en local sans filer vos fichiers audio à un service cloud,
Voicebox
devrait vous plaire. C’est un studio de
synthèse vocale
open source et gratuit qui tourne entièrement sur votre machine, et qui n’a rien à envier à ElevenLabs.
Concrètement, vous téléchargez l’app (dispo macOS, Windows et Docker), vous importez un extrait audio d’à peine 3 secondes minimum et hop, la voix est clonée. Pas besoin de compte, pas de limite d’utilisation, pas de “crédits” qui fondent comme neige au soleil !
Une startup spécialisée dans le dessalement de l’eau a perdu 200 000 dollars et quatre mois de recherche après avoir fait confiance à ChatGPT et Grok pour un choix de matériaux. Du coup, l’équipe a développé Rozum, un moteur de raisonnement qui fait tourner plusieurs modèles d’IA en parallèle et vérifie leurs réponses avant de les livrer.
L’histoire commence chez Waterline Development, une entreprise californienne qui travaille sur la désalinisation de l’eau. L’équipe devait choisir entre deux types d’électrodes en carbone pour son procédé. Elle a demandé à ChatGPT et à Grok de l’aider à trancher. Les deux modèles ont recommandé le tissu de carbone. Sauf que ce choix était le mauvais : mauvaise conductivité, problèmes de rétention d’eau, durabilité insuffisante. Derek Bednarski, le fondateur (passé par Tesla pendant huit ans), résume la situation : les modèles se sont trompés avec aplomb, et ça leur a coûté quatre mois et 200 000 dollars.
“Something need doing ?” Si cette réplique vous file un frisson nostalgique, alors vous allez adorer
Peon Ping
!!
Il s’agit d’un outil CLI open source qui joue des voix de personnages de jeux vidéo quand vos agents IA ont besoin de votre attention. Vous lancez Claude Code, vous passez sur autre chose, et le moment venu, un peon de Warcraft III vous gueule “Work complete!” quand c’est terminé.
Concrètement, ce truc s’intercale via des hooks entre vous et votre IDE, comme ça, chaque événement (démarrage de session, fin de tâche, erreur, demande de permission) déclenche une réplique différente. Du coup le peon dit “Something need doing?” quand l’agent attend un input, et “I can’t do that!” quand y’a une erreur.
Si vous utilisez des LLM dans vos projets, vous savez que le plus flippant c’est pas de les faire fonctionner (quoique..lol) mais c’est de vérifier qu’ils ne disent pas n’importe nawak ! Et pour cela, il y a
Promptfoo
, un outil CLI open source qui permet de tester vos prompts, comparer les modèles et scanner les vulnérabilités de vos apps IA, le tout avec un simple fichier YAML.
Ça s’installe en une commande (npx promptfoo@latest init) et vous voilà avec un fichier promptfooconfig.yaml où vous définissez vos prompts, les modèles à tester et les assertions à vérifier.