Raspberry

Docker Model Runner : profitez des TLM sur une Pi 5

Soumis par francoistonic le

Philippe Charrière partage régulièrement les PoC et expérimentations. Un des derniers exemples est Docker Model Runner sur Linux en utilisant une Pi 5 pour exécuter localement un SML ou un TLM (Tiny Language Model). Ce PoC utilise une Pi 5 8 Go avec Ollama et une SD rapide. 

Il faut installer Docker puis Docker Compose. Ensuite, on installe Docker Model Runner (apt-get install docker-model-plugin). Pas très compliqué. Philippe utilise ensuite le TLM Qwen 2.5 0.5B, oui c'est un modèle ultra léger ! Comme il le dit : "Le modèle 0,5B est conçu pour être léger et efficace, idéal pour les applications avec des contraintes de ressources ou pour un déploiement sur des appareils moins puissants, tout en conservant des capacités raisonnables pour de nombreuses tâches."

A partir de là, il faut déployer le TML et faire un pull depuis docker model : ai/qwen2.5:0.5B-F16. La référence F16 est la précision numérique. Si tout est ok, le TLM apparait le docker model list. Pour utiliser le modèle : docker model run ai/qwen2.5:0.5B-F16 en mode interactif ou alors en posant directement une requête docker model run ai/qwen2.5:0.5B-F16 "[ma question]"

[video:https://youtu.be/lDRE68ps1Gg?si=VOiwyojVGJKt8wcH autoplay:0]

Il est possible d'utiliser des modèles encore plus petits tels Smollm2 ou son propre modèle (attention : il faut un modèle GGUF).

Le tuto complet : https://k33g.hashnode.dev/docker-model-runner-is-available-on-linux

C'est quoi Docker Model Runner ?

Il s'agit d'un composant Docker pour construire et exécuter une GenAI localement avec des modèles installés en local. Il tire profit des GPU, par exemple sur Apple Silicon : https://www.docker.com/blog/introducing-docker-model-runner/

Raspberry Pi Compute Module : un Raspberry Pi de la taille d'une barrette mémoire

Soumis par fredericmazue le
Image
Image

Un nouveau Raspberry Pi, l'ordinateur de poche pour geek, a vu le jour. Le principe fondateur reste le même, mais en encore plus petit et encore plus geek :-)

Cette fois l'ordinateur tient sur l'équivalent d'une carte mémoire DDR2 SO-DIMM, c'est à dire les cartes mémoires mémoire que l'on utilise pour les ordinateurs portables. La mémoire flash est connectée au processeur, mais les interfaces libres de celui-ci sont accessibles à l'utilisateur du Raspberry Pi Compute Module à partir des connecteurs la carte.

Vous l'avez compris, contrairement à son grand (si l'on peut dire) frère, le Raspberry Pi Compute Module n'est pas un ordinateur prêt l'emploi, et l'utilisateur doit être un geek féru d'électronique. Ce Raspberry a été conçu à l'intention des ingénieurs, bricoleurs et autres bidouilleurs qui créeront une carte-mère pour l'accueillir.

D'ailleurs, pour stimuler les esprits créatifs, Pi propose un exemple, le Compute Module IO Board, dont les caractéristiques sont open source.

Site : http://www.raspberrypi.org/raspberry-pi-compute-module-new-product/

[video:http://vimeo.com/91292623]

Frédéric Mazué