TornadoVM

TornadoVM : version 4.0.0 avec le support de CUDA Graphs

Soumis par francoistonic le
Image

TornadoVM est disponible en version 4.0.0. La nouveauté principale est le support de CUDA Graphs pour réduire le overheard. Les autres ajouts :

- SIMD Shuffle / Redaction Support pour le backend PTX

- mise à jour du readme avec aujout de Metal

- synchronisation master et develop

- ajout de Metal d'Apple en backend natif sur Apple Silicon

- quelques bug fix

Pour rappel, TornadoVM est un plug-in à OpenJDK et les autres JDK pour permettre un fonctionnement sur des hardwares hétérogènes et supporter le multi-CPU / GPU. Il supporte OpenCL, NVIDIA CUDA PTX et Spir-V. Il offre une optimisation matérielle pour le JIT. 

Site : https://tornadovm.readthedocs.io/en/latest/index.html

TornadoVM 2.2.0 : accélération GPU, LLM

Soumis par francoistonic le
Image

TornadoVM est un plug-in à OpenJDK et GraalVM pour exécuter les codes Java sur un matériel hétérogène et utiliser au mieux certaines technologies : OpenCL, PTX, SPIR-V, GPU et GPU intégrées, FPGA... Il est disponible sur Linux, macOS, Windows. Un des usages est de pouvoir utiliser le multicoeur et l'accélération GPU. Il ne remplace pas la JVM utilisée mais étend la plateforme. 

Il peut compiler le code Java sur trois types de backends : OpenCL, Cuda PTX et SPIR-V. Le développeur choisit la target et TornadoVM s'occupe du reste ou presque. Pour utiliser pleinement la plateforme, il faut installer TornadoVM puis le SDK et intégrer TornadoVM à vos projets en utilisant Maven. Ainsi les dépendances nécessaires seront injectées. Ce n'est pas magique, à vous d'intégrer dans le code TornadoVM. 

Les principales fonctionnalités : 

- indépendance des API matérielles

- un Jit optimisé sur chaque architecture

- traitement batchs

- déploiement sur un IoT ou une carte Edge, sur PC ou un serveur

La version 2.2.0 est la dernière en date : support de CUDA JIT, quelques corrections de bug.