Comment mesurer et comparer les agents de codage ? Quelle fiabilité ? Quel agent serait le mieux pour mon projet ? Quels agents peuvent réaliser les tâches Kotlin de bout en bout, résoudre des bugs, fixer les failles et aboutir à la production. 

"Nous franchissons une première étape pour combler cet écart en publiant le Kotlin Benchmark, le benchmark officiel de JetBrains pour évaluer les agents de programmation automatisée sur des tâches de développement logiciel Kotlin. Notre objectif est d'offrir aux développeurs un moyen crédible et public d'évaluer les performances de différents agents sur Kotlin et de comparer leurs configurations à l'aide de tâches plus proches du travail quotidien des développeurs." commente l'éditeur. 

Le benchmark repose sur la méthologie Multi-SWE-bench étendue à Kotlin. Pour chaque tâche, un ensemble de données est récolté : la base du commit, le correctif de référence est écrit par un développeur, les tests de régression définissant le comportant attendu et la description du problème. Chaque tâche est décrite et structurée. En tout, 105 tâches sont utilisés pour mesurer les différents agents.