Ce n'est pas une surprise, OVHcloud avait teasé depuis plusieurs semaines le lancement de ses propres LLM. L'annonce a été faite cette nuit : Olala mini 7A1B. Il s'agit du 1er LLM de la gamme Olala
Olala mini repose sur une architecture de 7 milliards de paramètres (7B) avec un milliard activés répartis entre 256 experts par couche, l’attention hybride avec Differential-TPA et Mamba-3, au format BF16. Seule une fraction du modèle est sollicitée à chaque requête, ce qui le rend plus rapide et moins gourmand en mémoire. Conséquence directe: le modèle fonctionne sur un GPU doté d’un minimum de 8 Go de mémoire, il atteint 160 tokens par seconde sur une RTX A4500, et même sans GPU, sur un simple processeur, à 50 tokens par seconde. Sa fenêtre de contexte atteint aujourd’hui 32 000 tokens. Olala mini sera disponible en open source sur Hugging Face, sous licence Apache 2.0.
Olala mini a été entraîné sur trois supercalculateurs publics européens, Jupiter, MeluXina et Jean Zay, équipés de GPU GH200, A100 et H100. Ce soutien, qui représente l’équivalent de 7 M€ en heures de calcul, a été déterminant, et OVH tient à en remercier les pouvoirs publics. L’initiative publique s’est révélée un succès à plus d’un titre : elle a fait émerger une équipe d’exception en intelligence artificielle et a donné naissance au Lab Agentique d’OVH : OVHai LLM. Olala mini est publié avec ses poids, son modèle de base pré-entraîné, son rapport technique et sa documentation de conformité à l’AI Act. Qwant l’a déjà adopté pour sa fonctionnalité de réponse flash, avec des gains significatifs : des réponses 20 % plus rapides et des coûts de fonctionnement divisés par trois par rapport au modèle précédemment utilisé.
OVhcloud prévoit déjà la version 1.1 pour la fin de l'année avec un contexte à 128 000 tokens. La v2 dépassera les 100 milliards de paramètres.