Cast AI annonce Kimchi Coding. "Plutôt que de s’appuyer sur un seul modèle de pointe, une couche d’orchestration intelligente aiguille chaque tâche vers le modèle le mieux adapté, au meilleur coût. C’est déjà la direction que prennent beaucoup d’entreprises : réserver les modèles les plus puissants aux tâches vraiment complexes, et laisser les modèles open-weight gérer le reste." explique l'éditeur.

Kimchi orchestre plusieurs modèles pour utiliser le modèle plus pertinent pour telle ou telle tâche. L'autre objectif est de réduire la consommation des tokens. L’économie réalisée repose sur deux leviers : un routage qui envoie la majorité du travail vers des modèles open-weight, et une infrastructure d’inférence hébergée sur GPU, optimisée par Cast AI jusqu’au niveau du nœud Kubernetes. Testé en mode shadow face à une approche basée exclusivement sur des modèles commerciaux, Kimchi s’est révélé 2,5 fois moins coûteux, avec des résultats équivalents ou supérieurs sur la conformité aux spécifications et la réussite des tests. 

Plusieurs plans sont proposés :

- communautaire : 0 $ incluant CLI, un contxte de 250 000, pas de monitoring des coûts.

- Coder : 20 $ / mois pour les développeurs individuels

- Teams : 35 $ / mois / poste

Pour en savoir plus : https://kimchi.dev/