Fiber Memory – Stocker la mémoire d’une IA dans 1 000 km de fibre optique

Accrochez-vous parce que celle-là, elle est bien barrée ! Des chercheurs de l’université d’Uppsala veulent stocker la mémoire d’une IA… dans de la lumière. Leur projet Fiber Memory fait tourner les données d’un LLM en boucle dans 1 000 km de fibre optique, et les puces se servent au passage !

Pour comprendre le délire, il faut voir comment ça marche aujourd’hui. Dans un gros data center IA, chacune des 10 000 puces de calcul (des accélérateurs, en gros des GPU) garde sa propre copie complète du modèle dans sa mémoire embarquée, la
HBM
. Un Llama 3 70B compressé pèse 70 Go, ce qui donne 700 To de mémoire hors de prix pour stocker 10 000 fois exactement la même chose.

Vous qui râlez déjà quand un modèle
ne tient pas sur votre matériel
, imaginez le même casse-tête multiplié par 10 000.

La solution d’Hannah Atmer et de son équipe, c’est le tapis roulant à sushis. Un serveur unique injecte 128 Go de données dans la boucle (les poids du modèle, plus un peu de marge), et tout ça défile en continu à 25,6 To/s. Chaque puce attrape alors les plats qui l’intéressent quand ils passent devant elle, et le tour complet prend 5 ms !

La topologie retenue : un seul serveur de poids alimente la boucle, les pods se servent au passage. Schéma tiré du papier d’Atmer, Voigt, Yao et Kaxiras.

Concrètement, chaque châssis prélève 1 % de la lumière qui circule et laisse filer le reste vers les copains d’après. Pas de requête, pas d’adresse mémoire, juste un péage optique qui pique sa part au passage.

Le prélèvement en détail : un splitter 99:1 détourne 1 % de la puissance optique vers le pod, le reste poursuit sa route et se fait ré-amplifier.

Et le plus dingue, c’est que cette idée de génie a 80 ans ! Les premiers ordinateurs des années 40 stockaient déjà leurs données sous forme d’ondes qui tournaient en rond dans des tubes de mercure, la fameuse
mémoire à ligne de délai
. On avait déjà croisé
des mémoires franchement bizarres
, mais celle-ci place la barre très haut.

Évidemment, y’a des conditions à respecter… Ça ne marche que pour des données qui ne changent jamais et que tout le monde se partage, comme les poids d’un modèle déjà entraîné (les calculs en cours restent dans une petite mémoire locale classique). Et si une puce rate son sushi, elle attend 5 ms que le tapis fasse un tour complet… une éternité pour un GPU.

Côté conso, leurs calculs annoncent 284,8 kW pour la livraison des poids, contre 1 024 kW avec la HBM classique. Presque 4 fois moins ! Bon, la comparaison avantage un peu leur bébé (le scénario fibre répartit les poids entre les 8 puces d’un châssis, quand la référence garde une copie entière par puce), mais l’ordre de grandeur reste violent.

Par contre, tout ça n’existe encore que sur le papier. Les briques sont là, entre les commutateurs Spectrum-X Photonics de NVIDIA qui causent déjà en lumière et
la HBM3e de Micron
qui dépasse 1,2 To/s par pile, mais personne n’a encore assemblé le puzzle. Et il faudrait quand même réussir à caser 280 amplificateurs sur la boucle, plus quelque 3 500 amplis et 1 750 régénérateurs autour des pods…

Reste à voir si le bilan énergétique survit à un vrai prototype !

Source