Voilà une étude qui peut fournir une réflexion sur l'usage de l'IA dans la sécurité et notamment dans l'ApplSec. L'IA est aujourd'hui une évolution importante des outils de sécurité pour découvrir et fixer les vulnérabilités. Mais faut-il pour autant se reposer que sur l'IA ? Le rapport VulnBench JS 1.0 apporte une nuance importante : les chercheurs ont réalisé 300 analyses de sécurité répétées sur les mêmes applications, avec les mêmes paramètres et les mêmes modèles d'IA, afin de mesurer la stabilité des résultats.

Le rapport veut en avant :

• Près de 50 % des vulnérabilités signalées uniquement par les modèles d'IAn'ont été détectées qu'une seule fois sur cinq exécutions identiques, illustrant une forte variabilité des résultats.

• À l'inverse, 85 % des vulnérabilités déjà référencées et correctement identifiées par les modèles ont été retrouvées lors des cinq exécutions, démontrant que les résultats les plus fiables concernent les vulnérabilités connues.  

• La meilleure configuration d'IA testée n'a retrouvé que 81 % des vulnérabilités de référence et a obtenu un score F1 de 75,4 %, laissant un écart significatif avec les outils SAST déterministes. 

L'étude montre que les modèles LLM apporte un complément aux outils d'AppSec en apportant une capacité de raisonnement et en identifiant parfois des problèmes supplémentaires. Toutefois, leur caractère probabiliste peut générer des résultats différents d'une exécution à l'autre. Pour les équipes de sécurité, cela signifie qu'il est encore prématuré de remplacer les outils de sécurité applicative traditionnels par des revues de code réalisées exclusivement par l'IA. Les résultats de Snyk indiquent plutôt que la stratégie la plus efficace consiste à combiner l'IA et les outils SAST déterministes, chacun permettant de détecter des catégories de vulnérabilités différentes.

Etude complète : https://snyk.io/fr/blog/snyk-vulnbench-js-1-0-llm-security-review-repeatability/