NVIDIA continue à faire évoluer ses modèles Nemotron, avec la version 3.5 Lightning. Il peut aider améliorer ou à affiner une génération, un contenu. Par exemple :

• Adopter un style rédactionnel spécifique : respecter un ton, des formats et une terminologie définis pour la rédaction d’e-mails, de rapports ou d’autres documents.
• Développer une expertise spécialisée : mieux comprendre le vocabulaire et les tâches courantes propres à des domaines tels que la photographie, le gaming ou la conception 3D.
• Coder selon des méthodes spécifiques : suivre des conventions de programmation, frameworks et méthodes de test privilégiés lors de l’écriture, de la révision ou de la refactorisation de code.

NVIDIA a collaboré avec vLLM, Ollama, llama.cpp et LM Studio afin d’offrir une expérience optimale pour le déploiement local des modèles Nemotron 3.5 Lightning, avec notamment le choix entre les formats NVFP4 et GGUF. Unslothpropose également une prise en charge dès le lancement, avec des modèles optimisés et quantifiés permettant un déploiement local efficace via Unsloth Studio.

Nemotron 3.5 Lightning s’exécute localement sur les PC NVIDIA RTX, NVIDIA DGX Spark, les systèmes OEM GB10 et NVIDIA Jetson, et peut évoluer vers des configurations plus puissantes telles que les stations de travail RTX PRO, les systèmes NVIDIA DGX Station et GB300 deskside, ainsi que les data centers et environnements cloud.

NVIDIA NeMo Switchyard, une bibliothèque de routage open source, dirige automatiquement chaque étape du workflow d’un agent vers le modèle le plus adapté en fonction de trois critères : précision, rapidité et coût. Elle offre également aux développeurs la flexibilité nécessaire pour travailler avec différents modèles et fournisseurs en fonction des tâches à accomplir.

Selon les benchmarks NVIDIA, NeMo Switchyard, en répartissant chaque étape entre différents modèles au sein d’un même système, a permis de maintenir un niveau d’exécution comparable à celui des modèles les plus avancés, tout en réduisant le coût d’exécution des benchmarks à environ un tiers de celui d’Opus 4.8 utilisé seul.

Annonce : https://blogs.nvidia.com/blog/nemotron-lightning-switchyard-rtx-dgx/