Magic Pointer, le pointeur de souris pensé par Google DeepMind
Du côté de Google DeepMind, on s’amuse à réinventer le pointeur de souris. Le projet s’appelle Magic Pointer, c’est un pointeur piloté par Gemini (le modèle d’IA maison de Google) qui comprend ce que vous désignez à l’écran.
L’idée est simple. Vous survolez un élément (un tableau, une image, un PDF, une recette), vous tapez ou dites ce que vous voulez en faire, et Gemini exécute en tenant compte du contexte visuel précis.
Les démos publiées font effectivement leur petit effet. Vous survolez un tableau de chiffres et vous demandez un camembert ? Le graphique apparaît directement dans la zone visée. Vous pointez une recette en ligne et vous dites “double les ingrédients” ? La liste se réécrit avec les nouvelles quantités.
Vous pointez un PDF de 30 pages et vous demandez un résumé en bullet points ? Gemini sort un résumé qui colle aux pages effectivement visées, pas au document entier. C’est exactement le genre d’interaction qu’on attendait d’une IA depuis des années, et qui jusqu’ici se faisait toujours en mode “copier la zone puis coller dans une fenêtre de chat”.
Côté disponibilité, Magic Pointer est dispo en démo dans Google AI Studio (l’interface dev de Google pour jouer avec Gemini), avec un déploiement progressif annoncé dans Gemini pour Chrome et dans les Googlebook, ces ordinateurs récemment annoncés par Google. Pas de date pour une arrivée sur d’autres navigateurs, ni en français au passage, mais on peut imaginer que Chrome reste prioritaire pour Google.
Côté technique, DeepMind reste un peu flou sur le pipeline exact. Gemini reçoit visiblement une capture autour du pointeur (un rectangle de quelques centaines de pixels), plus le texte demandé, et renvoie l’action à exécuter. C’est bluffant.
Maintenant on verra bien comment ça tient en conditions réelles avec des documents complexes, des sites mal formatés ou des PDF mal scannés où la reconnaissance de texte galère déjà. La vraie question, c’est aussi la latence. Aussi malin que soit le système, si ça met cinq secondes à comprendre, on ira plus vite en copier-collant.
Source :
Google
Leave a Comment