eXo

exo : exécuter un cluster IA sur vos machines locales

Soumis par francoistonic le

exo est un projet open source développé par exo labs. L'objectif est de faire fonctionner votre cluster IA chez vous sur vos terminaux disponibles. exo veut exploiter la puissance GPU de vos iPhone, Android, Mac, cartes NVIDIA, Raspberry Pi, etc. Bref, tout ce qui peut faire tourner les modèles et les couches applicatives. Il faut pouvoir installer exo sur chaque machine.

Actuellement, exo est expérimental, incomplet et instable. Il supporte LLaMA, Mistal, DeepSeek. Il permet de découper un LLM sur plusieurs machines pour pouvoir l'exécuter. exo crée un cluster entre vos différents terminaux. Il s'appuie sur une connexion p2p à travers le réseau local. L'idée est très intéressante car en effet, on dispose de terminaux à la puissance mal exploitée. Un LLM est parfois trop lourd pour une seule machine et au lieu d'utiliser des ressources cloud, on utilise ce que l'on a sous la main. 

exo nécessite Python 3.12. Sur Linux, il faut les pilotes NVIDA, le toolkit CUDA et cuDNN. exo découvre automatiquement les autres instances exo. Attention à bien être sur le même réseau. Il fonctionne sur Pi et macOS. 

Il est recommandé d'installer exo via les sources en attendant des binaires stabilités. 

site : https://github.com/exo-explore/exo

Exo : un langage pour écrire du code hautes performances sur des accélérateurs matériels

Soumis par fredericmazue le

A lire sur le site du MIT. Des scientifiques du Laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) ont créé un nouveau langage de programmation appelé "Exo"

Lors de la programmation d'un accélérateur - un processus dans lequel les applications déchargent certaines tâches sur le matériel du système, en particulier pour accélérer cette tâche -, vous devez créer un tout nouveau support logiciel. Les accélérateurs matériels peuvent exécuter certaines tâches plus rapidement que les processeurs, mais ils ne peuvent pas être utilisés tels quels. Le logiciel doit utiliser efficacement les instructions des accélérateurs pour le rendre compatible avec l'ensemble du système d'application. Cela se traduit par beaucoup de travail d'ingénierie qui devrait ensuite être maintenu pour une nouvelle puce sur laquelle vous compilez du code, avec n'importe quel langage de programmation. 

D'où EXO qui  aide les ingénieurs de performance de bas niveau à transformer des programmes très simples qui spécifient ce qu'ils veulent calculer, en programmes très complexes qui font la même chose que la spécification, mais beaucoup, beaucoup plus rapidement en utilisant ces puces d'accélération spéciales. Les ingénieurs, par exemple, peuvent utiliser Exo pour transformer une simple multiplication matricielle en un programme plus complexe, qui exécute des ordres de grandeur plus rapidement en utilisant ces accélérateurs spéciaux.

Contrairement à d'autres langages de programmation et compilateurs, Exo est construit autour d'un concept appelé "Exocompilation". Avec Exocompilation, l'ingénieur performance est de retour aux commandes. La responsabilité du choix des optimisations à appliquer, du moment et de l'ordre est externalisée du compilateur vers l'ingénieur des performances. 

Le langage Exo est un compilateur qui est paramétré sur le matériel qu'il cible ; le même compilateur peut s'adapter à de nombreux accélérateurs matériels différents, explique Adrian Sampson, professeur adjoint au Département d'informatique de l'Université Cornell.  Au lieu d'écrire un tas de code C++ désordonné à compiler pour un nouvel accélérateur, Exo vous offre une manière abstraite et uniforme d'écrire la « forme » du matériel que vous souhaitez cibler.