Philippe Charrière partage régulièrement les PoC et expérimentations. Un des derniers exemples est Docker Model Runner sur Linux en utilisant une Pi 5 pour exécuter localement un SML ou un TLM (Tiny Language Model). Ce PoC utilise une Pi 5 8 Go avec Ollama et une SD rapide. 

Il faut installer Docker puis Docker Compose. Ensuite, on installe Docker Model Runner (apt-get install docker-model-plugin). Pas très compliqué. Philippe utilise ensuite le TLM Qwen 2.5 0.5B, oui c'est un modèle ultra léger ! Comme il le dit : "Le modèle 0,5B est conçu pour être léger et efficace, idéal pour les applications avec des contraintes de ressources ou pour un déploiement sur des appareils moins puissants, tout en conservant des capacités raisonnables pour de nombreuses tâches."

A partir de là, il faut déployer le TML et faire un pull depuis docker model : ai/qwen2.5:0.5B-F16. La référence F16 est la précision numérique. Si tout est ok, le TLM apparait le docker model list. Pour utiliser le modèle : docker model run ai/qwen2.5:0.5B-F16 en mode interactif ou alors en posant directement une requête docker model run ai/qwen2.5:0.5B-F16 "[ma question]"

Il est possible d'utiliser des modèles encore plus petits tels Smollm2 ou son propre modèle (attention : il faut un modèle GGUF).

Le tuto complet : https://k33g.hashnode.dev/docker-model-runner-is-available-on-linux

C'est quoi Docker Model Runner ?

Il s'agit d'un composant Docker pour construire et exécuter une GenAI localement avec des modèles installés en local. Il tire profit des GPU, par exemple sur Apple Silicon : https://www.docker.com/blog/introducing-docker-model-runner/