llama.cpp 1.0.0 arrive après 3 ans de développement

Soumis par francoistonic le
IA
Image
llama

llama.cpp est un des outils les plus pour déployer et utiliser pour faire de l’inférence LLM / MLLM avec des configurations limitées et d’optimiser les performances sur l’ensemble des configurations. Grâce à la quantification, à des backends optimisés et à une implémentation C/C++ portable, llama.cpp permet de l'inférence IA accessible à tous les niveaux de la pile logicielle.

Après plus de 3 ans de développement et d’itération, llama.cpp est disponible en version 1.0.0. En même temps, ggml arrive aussi en version 1.0.0

Cette version doit apporter une stabilité des bibliothèques et réduire au maximum sur casse fonctionnelle d’une version à une autre. 

L’outil est disponible sur Linux, macOS, Windows, Android et iOS.

Source : https://huggingface.co/blog/ggml-org/llama-cpp-v1

Site : https://llama-cpp.com/#about-llama-cpp

Actualité de la rédaction de Programmez!