Menu

Aucun menu défini dans le customizer.

Reins – Un Ollama sur mobile sans faire tourner Ollama sur mobile

Vous voulez utiliser Ollama sur votre iPhone ou Android pour lancer vos petits LLM en local ? Ce serait super cool non ? Bah j’ai une mauvaise nouvelle pour vous… votre smartphone n’a pas assez de mémoire vive pour faire ça…

Le problème est simple… les LLM bouffent un max de RAM. Par exemple, un LLaMA 7B, c’est dans les 12 GB de RAM. Et même quantifié en int4 pour gagner de la place, vous tombez à environ 3,5 GB. Et ça, c’est juste le modèle hein… Faut y ajouter le contexte, l’OS, les autres apps, et votre smartphone à 8 GB de RAM commence à suer de la raie.

Histoire de… l’Archos 5 Internet Tablet : la première tablette Android, mais Google n’en voulait pas

Un an avant l’iPad, six mois avant que le mot “tablette” devienne tendance, un petit constructeur français sortait la toute première tablette Android de l’Histoire. L’Archos 5 Internet Tablet incarne cette règle cruelle de la tech : avoir raison trop tôt, c’est exactement comme avoir tort.