Fin décembre, NVIDIA lançait un nouveau modèle : NitroGen. L'idée derrière est très simple : jouer à votre place sur plus de 1 000 jeux. Ce LLM est une sorte de super joueur qui peut vous aider à jouer vos parties ou battre les boss de fin de niveau. Pas besoin d'accéder aux codes sources, ce LLM regarde le jeu, le comprend et joue. Ce LLM a été entraîné durant plus de 40 000 heures sur un millier de jeux. Une des sources est l'analyse des vidéos des streamers. Il peut maîtriser les environnements 3D et 2D. 

Ce modèle est appelé vision to action model et est spécialement créé aux gameplays et utiliser les actions des gamepads. 

NVIDIA précise que ce modèle est uniquement dédié, pour le moment, à la recherche et aux développeurs. Il repose sur 3 éléments : un simulateur universel, un agent multi-jeux et un dataset video-action. 

Modèle : https://huggingface.co/nvidia/NitroGen

Introduction technique : https://nitrogen.minedojo.org