Cast AI a publié son rapport 2026 State of Kubernetes Optimization. Le rapport met en avant l'utilisation des ressources GPU, CPU et RAM dans les clusters Kubernetes. Si les entreprises investissent dans les infrastructures et les GPU, le rapport révèle aussi une sous-utilisation de ces ressources. L’étude montre que les gains d’efficacité attendus de Kubernetes ne se matérialisent pas automatiquement avec la croissance des infrastructures. Cela creuse l’écart entre les factures cloud des entreprises et leur consommation réelle.

Selon Cast AI, en 2025, l’utilisation moyenne des CPU au sein des clusters n’était que de 8 %, tandis que celle de la mémoire s'élevait à 20 %. Cela démontre une gaspille considérable des ressources : trop souvent, au lieu d'optimisation l'existant, les entreprises misent sur un accroissement des infrastructures. "L'essor rapide de l'IA accentue le problème avec la multiplication des nœuds équipés de GPU. Pourtant, les données révèlent le même paradoxe que pour le calcul classique : l’utilisation des GPU n’a pas dépassé 5 % en moyenne sur les clusters analysés. Pour les entreprises investissant massivement dans l'IA, cela représente un surcoût majeur et souvent invisible." explique l'éditeur.

L’étude remet en cause une croyance répandue : la conviction que la configuration d’un cluster est une tâche ponctuelle effectuée lors du déploiement. Or, un ajustement des ressources (rightsizing) réalisé une fois pour toutes est inefficace. Les charges de travail fluctuent et les besoins évoluent : une configuration optimale il y a six mois est aujourd’hui dépassée. 

Qu’il s’agisse du choix des instances Spot, de l'autoscaling ou de la gestion des engagements, chaque paramètre varie dans le temps et dépasse désormais les capacités de gestion manuelle à grande échelle.

« Laisser un GPU inactif coûte plusieurs dollars par heure, contre quelques centimes pour un CPU. Pourtant, 95 % de la capacité GPU reste inutilisée. Avec une hausse de 15 % du prix des instances H200, qui met fin à vingt ans de baisse constante des coûts, le problème n’est plus technique. L’optimisation autonome devient une nécessité face à une économie du Cloud moins favorable », déclare Laurent Gil, Cofondateur et président de Cast AI.