Moebius – Effacer un objet d’une photo depuis votre navigateur

Simon Willison, le créateur de Datasette et co-créateur de Django, vient de porter un modèle d’inpainting d’image directement dans le navigateur.
Sa démo
vous permet de choisir une photo, de peindre sur la zone à faire disparaître et ensuite le modèle IA reconstitue ce qu’il manque. Et ce qui est merveilleux avec cette appli c’est que tout tourne sur votre carte graphique en local, comme ça vos données restent chez vous.

Le modèle s’appelle Moebius, dispose de 0,22 milliard de paramètres, et a été développé par une équipe de l’université Huazhong en Chine. À l’origine c’est un modèle PyTorch, que Willison a converti au format ONNX pour le faire tourner via ONNX Runtime Web sur le backend WebGPU, une nouvelle API qui donne aux pages web un accès direct au GPU. Et ce qu’on obtient, c’est un modèle de diffusion qui s’exécute à 100% côté client dans Chrome ou Safari.

Lors de la première utilisation, l’outil télécharge 1,27 Go de poids depuis Hugging Face, ce qui est énorme pour une page web. Mais c’est un one-shot car ensuite, le navigateur range tout ça dans son Cache Storage, et les fois d’après il ne re-télécharge rien.

Je l’ai installé et testé et ça fonctionne vraiment très très bien. J’ai sélectionné quelques tuiles comme un bourrin et ça me les a enlevées très proprement en quelques dizaines de secondes (une fois le modèle initial téléchargé évidemment).

C’est du vrai inpainting génératif en tout cas et pas un truc qui recopie les pixels d’à côté.

Willison raconte dans le README que la conversion PyTorch vers ONNX et l’appli web complète ont été réalisées par Claude Code avec le modèle Claude Opus 4.8, et qu’il n’a “*pas regardé une seule ligne de code *”. Il s’est juste contenté de tester dans le navigateur et de signaler ce qui clochait. Hé ouais c’est comme ça maintenant, les temps changent 😉

C’est open source sous licence Apache 2.0, la démo est en ligne, et
le code est sur GitHub
si vous voulez le lancer chez vous. Testez, et effacez ce gars avec son coup de soleil sur le crâne qui gâche votre plus belle photo de vacances, je ne vous juge pas ^^.

Source :
Hackaday