Depuis quelques jours, les utilisateurs de Chrome s'agitent : Google installe un LLM de 4 Go, Gemini Nano. Cette installation se fait sans demande préalable auprès de l'utilisateur. Cela rappelle Microsoft et les pratiques pour imposer Copilot, avant un grand retour en arrière. Alexandre Hanff a publié un long post sur son blog The privacy Guy pour avertir de cette installation silencieuse et l'impossibilité de retirer le LLM. 

Google, en réponse à BFM, a communiqué que Gemini Nano peut être désactivé et supprimé depuis février dernier. L'utilisateur peut, relativement, facilement le supprimer. Cela signifie que jusqu'à février, ce LLM ne pouvait être pas supprimé, du moins pas facilement. En réalité, ce LLM est disponible depuis 2024 pour pouvoir assurer des tâches IA locales, en lieu et place à des LLM sur le cloud. Le LLM se cache sous le nom de weights.bin. C'est une fonction disponible depuis la version 147. 

Il est possible de vérifier la présence du modèle avec chrome://on-device-internals/. Page accessible avec les outils developer. Dans l'onglet Model Status, on voit immédiatement sur le LLM Nano est installé ou pas et les fonctionnalités disponibles pour ledit LLM. Depuis cette page, un bouton Uninstall permet de la désinstallation.

Pour supprimer :

- dans flags : taper optimization-guide-on-device-model

- puis ouvrez le menu de droite pour désactiver 

- faites de même pour #prompt-api-for-gemini-nano

- redémarrer Chrome

Ensuite, il faut physiquement supprimer le dossier contenant le LLM : OptGuideOnDeviceModel. Mettre dans la corbeille puis vider. A surveiller à chaque mise à jour de Chrome. 

Le LLM s'installe sur les OS suivants :

- Windows 10 et 11

- macOS 13+

- Linux

- ChromeOS

- Stockage : 22 Go de libre et minimum 4 Go de VRAM et 16 Go de RAM

- CPU : minimum 4 coeurs

Ce LLM est fait pour un usage purement local. Théoriquement, toutes les données restent sur votre device. Le modèle est utilisé par quelques fonctions précises de Chrome... pour le moment. Plusieurs API s'appuient dessus : 

• API Translator
• API Language Detector
• API Summarizer
• API Writer et API Rewriter
• API Proofreader
• API Prompt

Dans les faits, le LLM n'est pas caché car il est documenté : https://developer.chrome.com/docs/ai/get-started?hl=fr Ce qui gêne, c'est plutôt la manière de procéder sans prévenir l'utilisateur ni lui demander l'autorisation de s'installer. 

Google justifie ainsi cette installation : grâce à l'IA intégrée, vous pouvez exécuter l'IA côté client, ce qui vous offre les avantages suivants :

• Traitement local des données sensibles : l'IA côté client peut améliorer votre confidentialité. Par exemple, si vous travaillez avec des données sensibles, vous pouvez proposer des fonctionnalités d'IA aux utilisateurs avec un chiffrement de bout en bout.
• Expérience utilisateur rapide : dans certains cas, le fait de ne pas avoir à effectuer un aller-retour vers le serveur vous permet de proposer des résultats quasi instantanés. L'IA côté client peut faire la différence entre une fonctionnalité viable et une expérience utilisateur sous-optimale.
• Accès plus large à l'IA : les appareils de vos utilisateurs peuvent prendre en charge une partie de la charge de traitement en échange d'un accès plus large aux fonctionnalités. Par exemple, si vous proposez des fonctionnalités d'IA premium, vous pouvez les prévisualiser avec l'IA côté client afin que les clients potentiels puissent voir les avantages de votre produit, sans frais supplémentaires pour vous. Cette approche hybride peut également vous aider à gérer les coûts d'inférence, en particulier sur les flux utilisateur fréquemment utilisés.
• Utilisation de l'IA hors connexion : vos utilisateurs peuvent accéder aux fonctionnalités d'IA même en l'absence de connexion Internet. Cela signifie que vos sites et applications Web peuvent fonctionner comme prévu hors connexion ou avec une connectivité variable.

Blog d'Alexandre Hanff : https://www.thatprivacyguy.com/blog/chrome-silent-nano-install/

Documentation : https://developer.chrome.com/docs/ai/built-in/overview?hl=fr