Everpure accélère aussi le cache KV des modèles d’IA

FlashBlade//EXA atteint jusqu’à 85 736 tokens par seconde dans les tests de cache KV de MLPerf Storage v3.0.

Le stockage intervient également pendant l’inférence. Lorsqu’un modèle doit récupérer les données de son cache KV, sa capacité à les lire rapidement peut influencer directement le rythme auquel les accélérateurs poursuivent la génération. Dans le benchmark MLPerf Storage v3.0, FlashBlade//EXA d’Everpure arrive en tête de plusieurs catégories consacrées aux performances du cache KV, en plus de ses résultats sur le checkpointing des modèles.

Jusqu’à 85 736 tokens par seconde

Sur une charge Llama 3.1 8B utilisant uniquement le stockage, FlashBlade//EXA atteint 85 736 tokens par seconde. Le système délivre également 67 642 tokens par seconde sur une charge 8B combinant stockage et mémoire. Sur une charge 70B utilisant uniquement le stockage, le résultat atteint 33 403 tokens par seconde.

Ces tests s’intéressent à une opération différente du checkpointing. Il ne s’agit plus de sauvegarder l’état d’un entraînement, mais de récupérer les données du cache utilisées pendant l’exécution du modèle.

Le stockage entre dans l’équation de l’inférence

À mesure que les charges IA gagnent en taille, la performance ne dépend donc pas uniquement du nombre de GPU ou d’accélérateurs disponibles. Le stockage doit être capable de fournir les données au rythme demandé par les ressources de calcul. « Les organisations qui repoussent les limites du développement de l’IA ont besoin d’une infrastructure capable d’offrir les niveaux les plus élevés de performance et d’évolutivité, sans compromis sur la fiabilité ni sur la simplicité opérationnelle », déclare Rob Lee, Chief Technology and Growth Officer d’Everpure.

Pour Everpure, les résultats de MLPerf Storage v3.0 illustrent ainsi le rôle croissant du stockage aussi bien pendant l’entraînement que durant l’inférence des modèles.

L’article Everpure accélère aussi le cache KV des modèles d’IA est apparu en premier sur IA News.