Auteur/autrice : Krigs
https://github.com/Krigsexe
TurboQuant – Un LLM de 104B sur un MacBook, merci Google
Vous faites tourner des LLMs en local comme le gros fifou de Hipster IA que vous êtes et, Ô drame, la VRAM de votre ordinateur explose dès que le contexte dépasse 8000 pauvres malheureux tokens ?
Le problème c’est le KV cache les amis ! Le KV cache c’est ce truc qui stocke les clés et valeurs d’attention et qui grossit linéairement avec la longueur du prompt. C’est pour gérer ce problème que Google a annoncé sous la forme d’un whitepaper uniquement un algo qui compresse tout ça de 3,8 à 6,4 fois… et youpi pour nous, y’a un dev qui l’a déjà implémenté dans
un fork de llama.cpp
.
Amazon brade à un super prix ce pack Nothing incluant le Phone (3a) Pro et le Headphone (1)
Amazon propose un pack avec deux produits Nothing notés 8 et 9/10, le smartphone Nothing Phone (3a) Pro et le Nothing Headphone (1), pour 613,82 euros au lieu de 778 euros.
À cause de la crise, le Raspberry Pi augmente encore son prix
Le petit PC Raspberry Pi, autrefois connu pour son prix cassé, continue de subir l’inflation de la RAM.
Google Photos modifie en douce quelques une de ses fonctions « magiques »
Google remanie discrètement le mode d’accès aux fonctions d’édition « magiques » de son application Google Photos. Ces changements, pour l’instant réservés à la version Android de l’appli, mettent de côté l’approche gestuelle que l’on connaissait, pour des interactions plus « traditionnelles ».