Avis d'expert du Dr. Guy Waizel, Tech Evangelist chez Cato Networks

« L'incident révélé par OpenAI et Hugging Face marque un tournant important. Beaucoup retiendront qu'un modèle d'IA a adapté sa stratégie et contourné certains mécanismes de contrôle dans le cadre d'une évaluation menée en environnement contrôlé. L'enseignement le plus important est ailleurs car le risque lié à l'IA agentique n'est plus défini uniquement par les capacités du modèle. Il est défini par l'environnement qui l'entoure c’est-à-dire les identités qu'il utilise, les identifiants auxquels il a accès, les outils qu'il peut utiliser, les objectifs qui lui sont assignés et les relations de confiance auxquelles il peut accéder.

Cet incident fait écho aux récentes recherches menées par Cato dans un laboratoire d'entreprise contrôlé, où nous avons démontré comment un modèle d'IA de pointe pouvait être exploité grâce à une orchestration d'agents, des outils compatibles MCP, un contexte opérationnel et des instructions structurées. À partir d'une seule instruction de haut niveau, l'agent a exécuté une chaîne d'attaque complète, comprenant la reconnaissance, l'exploitation d'un point d'accès initial, la découverte de l'environnement, l'élévation de privilèges, les déplacements latéraux et des activités liées à l'exfiltration de données. Dans le scénario concluant le plus rapide, il a obtenu les privilèges de Domain Administrator en 40 minutes. Nous avons également observé un comportement adaptatif, notamment par le recours à des sondes personnalisées et à des chemins d'exécution alternatifs.

Il ne s'agit pas d'une raison de céder à la panique, ni de considérer que les approches traditionnelles de cybersécurité sont devenues obsolètes. Au contraire, l’incident rappelle pourquoi les fondamentaux restent essentiels. Une gestion rigoureuse des identités, le principe du moindre privilège, la segmentation, la détection, la réponse aux incidents, la gestion de l'exposition et la préparation aux incidents demeurent les fondements de la cybersécurité. Ce qui change, c'est la vitesse, l'autonomie et l'ampleur avec lesquelles ces contrôles peuvent désormais être mis à l'épreuve.

En publiant les résultats de cette évaluation, OpenAI et Hugging Face envoient également un signal important. Les capacités offensives de l'IA ne relèvent plus uniquement de la recherche ; elles deviennent un enjeu opérationnel de cybersécurité qui doit être évalué, gouverné et partagé à l'échelle de l'industrie. Les évaluations d'IA à haut niveau de capacité devraient de plus en plus s'apparenter à des exercices de sécurité offensive, avec un confinement strict, un contrôle des communications sortantes, des conditions d'arrêt clairement définies, une conservation des preuves et une responsabilité clairement attribuée en matière de réponse aux incidents.

Pour les organisations, la question n'est plus simplement de savoir ce qu'un modèle d'IA est capable de faire. Elle est de savoir ce que le système d'IA est autorisé à faire. Un agent d'IA connecté aux applications métiers, aux données, aux dépôts de code, aux plateformes SaaS ou aux infrastructures ne doit plus être considéré comme un simple logiciel. Il doit être traité comme un acteur numérique privilégié. Comme tout administrateur ou compte de service à haut risque, il doit disposer de sa propre identité, d'une délégation explicite, d'un accès fondé sur le principe du moindre privilège, d'identifiants limités dans leur périmètre et leur durée de vie, d'une connectivité sortante restreinte et d'une surveillance continue afin de détecter tout comportement inattendu ou non autorisé.

L'incident met également en évidence un défi plus large lié à la chaîne d'approvisionnement. Les agents d'IA n'évoluent pas de manière isolée. Ils interagissent avec des registres de paquets logiciels, des jeux de données, des dépôts de modèles, des API, des outils de développement et des services tiers. Dès lors qu'un agent suffisamment performant est capable de raisonner à travers ces relations de confiance pour atteindre un objectif, chacune d'elles devient une composante de la surface d'attaque de l'organisation.

Avec la généralisation des agents d'IA, la surface d'attaque ne se limite plus au modèle. Elle englobe tout ce à quoi le modèle est autorisé à accéder. La priorité n'est donc plus simplement de sécuriser l'IA. Elle consiste à gouverner les actions de l'IA pour définir précisément ce que chaque agent est autorisé à faire, vérifier en continu son comportement et s'assurer que l'organisation est capable de le détecter et de le contenir dès l'instant où il dépasse les limites qui lui ont été fixées. »

Nous reviendrons prochainement sur les incidents de sécurité OpenAI et Anthropic.