CUDA

Quelles alternatives à CUDA pour le HPC et la programmation GPU ?

Soumis par francoistonic le

CUDA est devenu la référence dans le calcul intensif, l'optimisation LLM, machine learning, le compute vision, etc. CUDA est natif aux GPU NVIDIA et le constructeur fut évolué le langage, les API et les SDK. Mais CUDA reste fortement lié aux GPU NVIDIA. OpenMP pourrait être une alternative ouverte à CUDA. Cette technologie n'est pas nouvelle mais OpenMP Architecture Review Board voudrait bien transformer OpenMP en véritable alternative à CUDA. Le modèle référence reste le C++ mais il existe une OpenMP Python. Pour le moment, cela reste une ambition théorique.

Au printemps dernier, le CNCF évoquait la nécessité d'avoir une véritable alternative aussi performante que CUDA, open source et agnostique des constructeurs et des GPU. Se pose alors des questions sur l'interopérabilité de ces différentes technologiques. Les alternatives  ne manquent pas : OpenMP, OpenCL, Vulkan, ROCm (AMD). Et les fondeurs de GPU proposent aussi leurs propres solutions comme AWS, Google, Apple, etc. 

Malgré toutes les initiatives, aucune ne s'impose face à CUDA. Les récentes interdictions chinoises contre les puces NVIDIA pourraient accélérer le mouvement.

GDC 2022 : NVIDIA met à jour CUDA-X avec 60 nouveautés

Soumis par fredericmazue le

Lors de GDC 2022, NVIDIA a dévoilé plus de 60 mises à jour de sa collection de bibliothèques, d'outils et de technologies CUDA-X dans un large éventail de disciplines. Des dizaines de mises à jour sont immédiatement disponibles, permettant aux développeurs de créer des applications accélérées pour relever les défis dans les domaines du calcul haute performance tels que la recherche en 6G, l'informatique quantique, la génomique, la découverte de médicaments et l'optimisation logistique, ainsi que travaux avancés en robotique, cybersécurité, analyse de données et plus encore.

Les nouveautés les plus notables comprennent :

  • cuQuantum, pour accélérer la simulation de circuits quantiques, est désormais en disponibilité générale et, pour la première fois, disponible dans l'appliance cuQuantum DGX, qui fournit aux chercheurs HPC une pile de simulation quantique complète optimisée pour le déploiement sur la plate-forme NVIDIA DGX. Élément clé d'un écosystème en pleine expansion, cuQuantum est désormais intégré en tant que backend dans les simulateurs populaires de Google Quantum AI, Xanadu et Oak Ridge National Laboratory. Il est également désormais proposé dans le cadre des plates-formes de développement d'applications quantiques de Classiq et Zapata Computing, et est utilisé par QC Ware, Xanadu et d'autres pour alimenter la recherche quantique à grande échelle dans des domaines allant de la chimie à la modélisation climatique.
  • Sionna, pour la recherche sur la couche physique 6G, est une nouvelle bibliothèque open source accélérée par GPU, avec un support natif pour l'intégration des réseaux de neurones et de l'apprentissage automatique. Sionna permet le prototypage rapide d'architectures de systèmes de communication complexes et s'ajoute à l'investissement de NVIDIA dans le domaine sans fil, qui comprend Aerial, une plate-forme définie par logiciel unifiée pour fournir l'IA sur 5G.
  • RAPIDS, bibliothèques de science des données pour accélérer la découverte de médicaments, les connexions sociales, la détection des fraudes et plus encore, est l'un des SDK les plus populaires de NVIDIA avec 2 millions de téléchargements et exploité dans plus de 5 000 projets sur GitHub. L' accélérateur RAPIDS pour Apache Spark accélère le traitement de plus de 3 fois sans modification du code. Avec 80 % des entreprises du Fortune 500 utilisant Apache Spark en production, les ingénieurs de données peuvent accélérer de manière transparente les opérations de dataframe et SQL de Spark.
  • cuOpt , anciennement ReOpt, pour la recherche d'optimisation logistique axée sur l'itinéraire des véhicules, permet aux utilisateurs d'acheminer des milliers de colis vers des milliers d'emplacements en quelques secondes avec une précision record, permettant un réacheminement en temps réel et économisant potentiellement des milliards en frais de livraison chaque année.
  • Morpheus, pour les applications de cybersécurité, permet d'analyser jusqu'à 100% de ses données en temps réel, pour une détection plus précise et une résolution plus rapide des menaces au fur et à mesure qu'elles surviennent. F5 a multiplié par 200 les performances de son modèle de détection des logiciels malveillants, passant de 1 013 messages par seconde à 208 333 messages par seconde, avec seulement 136 lignes de code.
  • Le conteneur DGL , pour la formation des réseaux neuronaux de graphes, ajoute des améliorations d'algorithme offrant des flux de travail ETL et de formation de bout en bout 4 fois plus rapides que les processeurs dans des domaines tels que la découverte de médicaments et la détection des fraudes.
  • Nsight Systems, pour la visualisation à l'échelle du système des performances d'une application, permet aux développeurs de voir comment les bibliothèques accélérées par GPU utilisent les ressources système, interagissent avec l'application et identifient les opportunités d'optimisation pour réduire les goulots d'étranglement.

Parmi les autres bibliothèques en cours de mise à jour figurent MONAI, pour l'imagerie médicale ; NVIDIA FLARE, pour l'apprentissage fédéré, avec près de 300 000 téléchargements ; Maxine, pour avoir réinventé la communication ; Riva, pour l'IA vocale ; Merlin, pour les systèmes de recommandation ; et Isaac, pour la robotique.

CUDA 11.6 Toolkit

Soumis par fredericmazue le

NVIDIA a annoncé la disponibilité de la  dernière version de l'environnement de développement CUDA, CUDA 11.6. Cette version est axée sur l'amélioration du modèle de programmation et des performances des applications CUDA.

CUDA 11.6 possède plusieurs fonctionnalités importantes. Dont :

  • L'architecture du pilote GSP est désormais l'architecture par défaut sur les GPU Turing et Ampere
  • Nouvelle API pour permettre la désactivation des nœuds dans le graphe instancié
  • Prise en charge complète du type entier 128 bits
  • Mise à jour de l'espace de noms des groupes coopératifs
  • Mise à jour du compilateur CUDA
  • Nsight Compute version 2022.1

CUDA 11.5 est disponible

Soumis par fredericmazue le

NVIDIA a annoncé la disponibilité de CUDA 11.5, une mouture qui se concentre sur l'amélioration du modèle de programmation et des performances de vos applications CUDA. Selon NVIDIA "CUDA continue de repousser les limites de l'accélération GPU et de jeter les bases de nouvelles applications en HPC, visualisation, IA, ML et DL et sciences des données".

Il est à remarquer qu'avec CUDA 11.5, CUDA Python vient en disponibilité générale, ce qui signifie qu'il peut être installé à l'aide de PIP ou de Conda. La bibliothèque est prise en charge sur toutes les plates-formes prises en charge par CUDA. CUDA Python fournit des liaisons Cython et des wrappers Python pour le pilote et l'API d'exécution pour les boîtes à outils et bibliothèques existantes afin de simplifier le traitement accéléré basé sur GPU.

A remarquer encore : Le compilateur CUDA C++ a ajouté la prise en charge de la compilation simultanée dans NVRTC et PTX pour améliorer le temps de compilation. Le compilateur peut désormais également détecter les kernels CUDA inutilisés et les éliminer, réduisant ainsi le temps de compilation, la taille binaire et les performances globales grâce à de meilleures optimisations de code. Une prise en charge limitée des valeurs entières 128 bits est publiée en tant que fonctionnalité en préversion.

Télécharger le SDK CUDA 11.5

IntelliSence pour Cuda C/C++ arrive dans Visual Studio Code

Soumis par fredericmazue le
IDE

Microsoft a mis à jour son extension C++ pour Visual Studio Code. Cette nouvelle version de l'extension apporte le support d'IntelliSense pour CUDA C/C++.

Pour mémoire, CUDA est une plate-forme de programmation parallèle, permettant aux développeurs d'interagir avec le GPU. CUDA est une technologie NVIDIA, qui s'est associée à Microsoft pour le développement de cette nouvelle fonctionnalité dans l'extension.

Depuis fin février Visual Studio Code supporte Apple Silicon. Dans ce contexte, il est également à remarquer qu'avec cette nouvelle version de l'extension C++, les binaires du serveur de langage de l'extension C ++ s'exécutent également en mode natif sur Apple Silicon. L'exécution native du serveur de langage sur Apple Silicon est plus efficace que de l'exécuter avec un émulateur, ce qui permet de meilleures performances et une plus longue durée de vie de la batterie, souligne Microsoft.

CUDA 10.2 est disponible

Soumis par fredericmazue le

CUDA  (Compute Unified Device Architecture) est une technologie développé par NVIDIA de GPGPU (General-Purpose Computing on Graphics Processing Units), c'est-à-dire utilisant un processeur graphique (GPU) pour exécuter des calculs généraux à la place du processeur (CPU). NVIDIA vient d'annoncer la sortie de la version 10.2 de CUDA.

Cette nouvelle mouture apporte le support des API de gestion de mémoire virtuelle CUDA et inclut libcu++, une bibliothèque C++ parallèle standard pour les GPU.

CUDA 10.2 inclut de nouvelles API d'interopérabilité pour les allocations mémoire, la synchronisation et le streaming. Ces nouvelles API sont en bêta pour le moment et NVIDIA soulignent qu'elles sont susceptibles d'être modifiées à l'avenir.

Les nouveaux systèmes d'exploitation suivants sont pris en charge par CUDA 10.2.

  • Fedora 29
  • Red Hat Enterprise Linux (RHEL) 7.x et 8.x
  • OpenSUSE 15.x
  • SUSE SLES 12.4 et SLES 15.x
  • Ubuntu 16.04.6 LTS et Ubuntu 18.04.3 LTS

ATTENTION : NVIDIA indique que CUDA 10.2 (Toolkit et pilote NVIDIA) est la dernière version à prendre en charge macOS pour le développement et l’exécution d’applications CUDA. La prise en charge de macOS ne sera plus disponible à partir de la prochaine version de CUDA.

CUDA Toolkit 10 est disponible

Soumis par fredericmazue le

NVIDIA vient de publier CUDA Toolkit 10. Cette mouture permet de bénéficier des performances des GPU GeForce RTX et Quadro RTX du fondeur, basées sur l'architecture Turing dévoilée au cours du mois d'août.

L’architecture Turing est destinée avant tout aux professionnels de l’image. Cette architecture combine plusieurs technologies de pointe (RT Cores, Tensor Cores, intelligence artificielle) pour rendre possible le ray tracing en temps réel. Cette technique est utilisée pour le rendu d’images de synthèse. Les opérations sont 25 fois plus rapides qu’avec la précédente architecture Pascal. Globalement, NVIDIA assure que les applications simulant le monde réel peuvent calculer leurs images 6 fois plus rapidement qu’avec Pascal.

La boite à outils CUDA 10 promet elle aussi de meilleures performances, notamment lorsqu'un grand nombre de GPU est utilisé.

Outre le support de Turing, CUDA Toolkit 10 apporte de nombreuses nouveautés majeures (cf. sa note de version) dont la prise en charge de nouvelles constructions de programmation appelées CUDA Graphs, un nouveau modèle de programmation de graphe de tâches asynchrone qui permet un lancement et une exécution plus efficaces, ainsi que la prise en charge des API d'interopérabilité CUDA-Vulkan et CUDA-DX12, ou encore la compatibilité du moteur d'exécution CUDA avec les anciens pilotes NVIDIA.

CUDA Toolkit 10 peut être téléchargé depuis le site développeur de NVIDIA. De nombreux exemples de code sont disponibles sur GitHub.

HIP : un outil AMD de conversion de code CUDA en C++

Soumis par fredericmazue le

Le monde du calcul HPC tel qu'il existe aujourd'hui consiste en de nombreuses applications accélérées avec les GPU, applications qui se basent sur la technologie et l'infrastructure CUDA propriétaires. Le problème avec le logiciel propriétaire est qu'il est pratiquement toujours étroitement contrôlé et son code source est maintenu secret, et en ce qui concerne CUDA, les options matérielles sont limitées à un fournisseur. Telle est l'introduction d'un billet sur le blog d'AMD qui présente un nouvel outil : HIP.

AMD, en grand partisan de l'open source et de standards ouverts, poursuit le billet, a créé HIP, un outil qui permet aux développeurs de convertir leur code CUDA en C++. Ce code C++ résultant peut être compilé par les compilateurs NVCC (CUDA NVIDA) ou HCC (AMD) pour tourner sur la GPU du choix du développeur. D'où le nom de l'outil, Heterogeneous-compute Interface for Portability,  ou HIP.

AMD met en avant plusieurs avantages sur OpenCL (le standard ouvert du Chronos Group pour le sapplications GPU). Avec HIP, les développeurs peuvent coder en C++, mélanger le code host et le code device, tout en utilisant l'artillerie du C++ : classes, lambdas, templates, etc. L'API HIP est moins verbeuse que celle d'OpenCL, et HIP n'a pas ou très peu d'impact sur les performances notamment.

L'outil HIP est open source, accessible sur GitHub.

Nvidia arrête CUDA !

Soumis par francoistonic le

C’est l’annonce du jour ! NVidia annonce qu’il ne va plus utiliser CUDA sur ces cartes graphiques. Il y a quelques semaines, le fondeur dévoilait une nouvelle version. Las, NVidia estime que le développement et la promotion de CUDA prennent trop de temps et coûtent trop chers. CUDA sera donc officiellement arrêté, et donné à la fondation Apache, au printemps 2015, le temps de réaliser la transition vers une nouvelle technologie. Cette technologie n’est autre que OpenCL ! Principal concurrent de CUDA.

MAJ : poisson d'avril

Commentaire actu

CUDA 6 est disponible

Soumis par fredericmazue le
Image

NVIDIA vient de mettre à disposition la sixième mouture (en Release Candidate) de sa librairie CUDA, dédiée à la programmation parallèle qui permet de déporter les calculs lourd du CPU vers la GPU de l'ordinateur. NVIDIA évoque dans ces conditions une accélération des applications par un coefficient 10.

Les principales fonctionnalités de la plateforme CUDA 6 sont notamment :

  • une Mémoire Unifiée :simplifie le processus de programmation en permettant aux applications d'accéder à la mémoire des CPU et GPU sans qu'il soit nécessaire de copier manuellement les données de l'une vers l'autre. La prise en charge d'une accélération du GPU avec un plus large éventail de langages de programmation est également facilitée.
  • la fonctionnalité Bibliothèques « Drop-in » : permet d'accélérer automatiquement jusqu'à 8 fois le temps de calcul des applications BLAS et FFTW en remplaçant simplement les bibliothèques de CPU existantes par les bibliothèques accélérées par le GPU.
  • Optimisation multi-GPU : les bibliothèques BLAS et FFT GPU entièrement revues permettent d'améliorer automatiquement les performances et peuvent concerner jusqu'à huit GPU pour un seul nœud, ce qui délivre une puissance atteignant jusqu'à neuf téraflops, des performances deux fois plus précises par nœud, permettant ainsi de gérer des charges de travail encore plus importantes (jusqu'à 512 Go). L'optimisation multi-GPU peut également être utilisée avec la nouvelle bibliothèque BLAS.

En plus de ces nouvelles fonctionnalités, la plateforme CUDA 6 offre toute une gamme d'outils de programmation, de bibliothèques mathématiques accélérées par GPU, des guides de documentation et de programmation.

La version 6 de la boîte à outils CUDA est attendue pour le début de l'année 2014. Les membres du programme des développeurs enregistrés de calcul CUDA/GPU seront avertis dès que la plateforme sera disponible au téléchargement. Pour rejoindre ce programme, inscrivez-vous ici.