LiteRT.js : Google lance une Web AI dans le navigateur

Par:
francoistonic

mer, 15/07/2026 - 07:27

Il y a quelques semaines Google a annoncé LiteRT.js. Il s'agit d'un runtime IA haute performance directement accessible sur le navigateur. Il permet d'exécuter des modèles .tflite dans le navigateur en s'appuyant sur le WebGPU et le futur standard WebNN. 

Pourquoi ?

- avoir un écosystème accessible sur le web, Android et iOS

- compatible PyTorch

- optimisation 

- compatible TF.js et intégration avec les flux Tensorflow.js

"En portant la bibliothèque d'inférence LiteRT, reconnue pour sa fiabilité et initialement conçue pour les appareils mobiles, sur le web, les développeurs web peuvent désormais exécuter des modèles de ML et d'IA avec des performances optimales, entièrement en local. Cela se traduit par une confidentialité accrue des utilisateurs, l'absence de coûts serveur et une latence ultra-faible pour des expériences en temps réel. Pour les développeurs disposant déjà de modèles .tflite, LiteRT.js simplifie considérablement le déploiement sur les navigateurs web mobiles et de bureau, représentant une évolution majeure de TensorFlow.js pour l'exécution de ces modèles." explique Google. 

LiteRT.js doit obtenir de bonnes performances en exécutant les modèles .tflite directement dans le navigateur, avec l'accélération matérielle incluant XNNPACK pour le CPU, ML Drift pour le GPU et la future technologie WebNN pour les NPU.

Il peut être s'intégrer à JavaScript, TypeScript. 

Pour utiliser LiteRT :

import { loadLiteRt, loadAndCompile, Tensor } from '@litertjs/core';
await loadLiteRt('path/to/wasm/directory/');
const model = await loadAndCompile('path/to/your/model.tflite',{ accelerator: webgpu });
const inputTypedArray = new Float32Array(1 * 3 * 244 * 244);
const inputTensor = new Tensor(inputTypedArray, [1, 3, 244, 244]);
const results = await model.run(inputTensor);
// results is a Tensor stored on GPU. To move it to CPU & convert to a typedArray we use
const resultArray = (await results[0].moveTo('wasm')).toTypedArray();

Annonce : https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/