Kotlin Benchmark : JetBrains veut aider à mesurer les agents de codage

Par:
francoistonic

mer, 08/07/2026 - 16:04

Comment mesurer et comparer les agents de codage ? Quelle fiabilité ? Quel agent serait le mieux pour mon projet ? Quels agents peuvent réaliser les tâches Kotlin de bout en bout, résoudre des bugs, fixer les failles et aboutir à la production. 

"Nous franchissons une première étape pour combler cet écart en publiant le Kotlin Benchmark, le benchmark officiel de JetBrains pour évaluer les agents de programmation automatisée sur des tâches de développement logiciel Kotlin. Notre objectif est d'offrir aux développeurs un moyen crédible et public d'évaluer les performances de différents agents sur Kotlin et de comparer leurs configurations à l'aide de tâches plus proches du travail quotidien des développeurs." commente l'éditeur. 

Le benchmark repose sur la méthologie Multi-SWE-bench étendue à Kotlin. Pour chaque tâche, un ensemble de données est récolté : la base du commit, le correctif de référence est écrit par un développeur, les tests de régression définissant le comportant attendu et la description du problème. Chaque tâche est décrite et structurée. En tout, 105 tâches sont utilisés pour mesurer les différents agents. 

"Les premières évaluations montrent que les agents de codage les plus performants peuvent réaliser une grande partie des tâches du benchmark Kotlin actuel. Ces résultats correspondent à la première itération publique du benchmark et n'intègrent pas encore les dernières versions des modèles. Nous travaillons déjà sur la deuxième itération et mettrons à jour le classement au fur et à mesure des nouvelles évaluations. Lors de cette exécution, le meilleur résultat a été obtenu par Claude Code avec Opus 4.7 xhigh, qui a résolu 90 des 105 tâches, soit un taux de résolution de 85,71 %. JetBrains Junie avec Opus 4.7 max (81,9 %) et Codex avec GPT 5.5 xhigh (81,9 %) ont suivi de près." commente JetBrains. 
Pour cette première évoluation, 19 agents ont été éprouvés. Le top 3 :
Claude Code + Opus 4.7 xhigh : 90 tâches, 85,71 % de résolutions, 10h37
Junie avec Opus 4.7 max : 86 tâches, 81,90 %, 19h58
Codex + GPT 5.5 xHigh : 86 tâches, 81,90 %, 8h30
La différence entre Junie et Codex vient de la consommation des tokens. Junie utilise presque 2 fois moins de tokens que Codex. Gemini se classe 16e et 19e.