Red Hat continue à étendre sa plateforme IA : Red Hat AI. La plateforme « metal-to-agent » unifiée de Red Hat AI 3.4 simplifie le développement et le déploiement des workflows agentiques, en permettant aux organisations d’aller au-delà des phases pilotes et de déployer une IA évolutive à travers toute leur infrastructure.

Red Hat AI 3.4 est une plateforme définissant un socle architectural et les outils nécessaires pour faire évoluer les modèles et les workflows agentiques à travers le cloud hybride. Élément central de cette version, le modèle sous forme de service (Model-as-a-Service, MaaS) fournit aux développeurs une interface unique contrôlée pour accéder à des modèles sélectionnés tout en permettant aux administrateurs de suivre la consommation et d’appliquer des règles. Ceci repose sur une base d’inférence distribuée à hautes performances alimentée par des vLLM et llm-d, afin de maintenir un modèle optimisé et efficace pour de nombreux environnements.

Les principes clés

• Inférence évolutive à hautes performances et accès contrôlé aux modèles : l’inférence de modèles à haute efficacité reste au cœur de l’IA prête pour la production. En combinant le serveur d’inférence vLLM et le moteur d’inférence distribuée llm-d avec les MaaS, Red Hat AI 3.4 crée une base fiable et efficace pour l’inférence de modèles, tout en simplifiant l’accès contrôlé aux modèles pour les utilisateurs et les agents.
• AgentOps optimisés pour le cycle de vie d’application autonome : Red Hat AI 3.4 introduit des capacités AgentOps complètes pour opérationnaliser les agents à grande échelle. Ceci inclut le traçage, l’observabilité et les évaluations, ainsi que l’identité d’agent et la gestion du cycle de vie pour faire passer les agents du développement à la production.
• Connecter les données aux modèles et aux agents : les modèles et les agents sont alimentés par les données d’entreprise. Red Hat AI 3.4 ajoute la gestion de prompts, en traitant ces derniers comme des actifs de données de première classe, et un centre pour gérer les évaluations de qualité, de précision, de sécurité et de risque. Ces capacités fonctionnent avec MLflow, qui offre le traçage expérimental intégré et la gestion des artefacts pour les scénarios d’IA générative et d’IA/ML prédictif.
• Sûreté et sécurité intégrées pour les modèles et les agents : pour protéger la totalité de la pile IA, Red Hat AI fournit une posture de sécurité en couches allant du système d’exploitation à la logique agentique. Grâce aux tests de sécurité et aux attaques fictives (red-teaming), les organisations peuvent adopter une approche basée sur les données pour la sélection et la configuration des modèles et des garde-fous (guardrails), ce qui contribue à une meilleure protection des charges de travail d’IA contre les menaces en constante évolution.

Les principes évolutions de la version 3.4

• Inférence avancée et optimisation des modèles : Red Hat AI Inference ajoute à ses capacités d’inférence distribuée la priorisation des requêtes, permettant au trafic interactif et en arrière-plan de partager le même point terminal, tandis que les requêtes sensibles en termes de latence sont traitées en priorité. Red Hat AI Inference s’étend au-delà de Red Hat OpenShift à des services Kubernetes supplémentaires, dont CoreWeave et Azure, offrant ainsi aux organisations une pile d’inférence cohérente dans différents environnements. La prise en charge du décodage spéculatif, maintenant généralisée, multiplie par 2 à 3 les vitesses de réponse avec un impact minimal sur la qualité, tout en réduisant le coût par interaction.
• Modèle sous forme de service (MaaS) contrôlé : cette fonctionnalité permet aux ingénieurs de la plateforme de fournir une sélection de modèles validés sur des points terminaux API dont la sécurité est renforcée, à l’aide d’interfaces compatibles OpenAI. Ceci permet une gouvernance unifiée des modèles internes et des API externes, intégrée avec une authentification basée sur un fournisseur d’identité (IDP).
• Gestion des prompts intégrée : la plateforme offre des outils unifiés pour créer et gérer les prompts en tant qu’actifs de données de première classe. Avec le stockage des entrées utilisées pour les modèles et les agents dans un registre central, les développeurs et les administrateurs disposent d’une source unique de confiance.
• Évaluation automatisée des modèles et des agents : Red Hat AI 3.4 introduit un hub d’évaluation, un plan de contrôle d’évaluation IA unifié et indépendant du framework pour l’évaluation des grands modèles de langage (LLM), des applications IA et des agents. Il remplace les méthodes de test fragmentées par une approche unifiée de l’évaluation de la qualité, de la précision et du risque. 
• Sécurité multicouche : le balayage contradictoire (adversarial scanning) automatisé est désormais intégré au cycle de vie du développement. S’appuyant sur la technologie de Chatterbox Labs, la plateforme Red Hat AI utilise Garak pour déceler dans les modèles et systèmes agentiques des risques tels que les évasions (jailbreaks), les injections de prompts et les préjugés, en l’associant à NVIDIA NeMo Guardrails pour la sécurité de fonctionnement.
• Observabilité prête pour la production : l’intégration de MLflow permet de suivre l’exécution d’agent, autrement dit d’obtenir un traçage de bout en bout des appels LLM, des étapes de raisonnement, de l’exécution des outils, des réponses des modèles et de l’usage des jetons via OpenTelemetry. Ceci crée une piste d’audit transparente pour tout le cycle de vie des prompts, les intégrations et les configurations de RAG (génération augmentée par récupération) pour faciliter le débogage et les vérifications. MLflow offre également un traçage expérimental intégré et la gestion des artefacts pour les scénarios d’IA générative et d’IA prédictive.
• Gouvernance basée sur l’identité : grâce la gestion d’identité cryptographique (SPIFFE/SPIRE), Red Hat AI permet aux organisations de remplacer les clés statiques codées en dur par des jetons éphémères. Cette fonction prend en charge les opérations les moins privilégiées des agents autonomes à travers la pile, et contribue à confirmer que les actions agentiques sont liées à une identité vérifiée.
• Expériences automatisées : les outils comme AutoRAG et AutoML automatisent des tâches d’IA complexes, depuis la sélection des stratégies de récupération les plus efficaces pour des jeux de données spécifiques jusqu’à la création et l’optimisation de modèles prédictifs traditionnels.
• Flexibilité matérielle et clouds gérés : Red Hat AI 3.4 offre un support jour-zéro pour les NVIDIA Blackwell GPU et les architectures AMD MI325X. En élargissant cette architecture de plateforme unifiée pour qu’elle tourne en natif sur les clouds gérés de tiers – y compris via le nouveau Red Hat AI Inference on IBM Cloud – Red Hat assure la cohérence opérationnelle avec des nombreux fournisseurs de clouds et de matériels.

Red Hat 3.4 sera disponible courant mai.