LLM

LivePortrait : animer des images avec PyTorch

Soumis par francoistonic le

Tu rêves d'animer un tableau, une photo ? LivePortrait est une implémentation (spécifique) de PyTorch. Ce projet open source repose sur la publication LivePortrait : efficient portrait animation for stitching and retargeting contol. Le projet repose sur PyTorch, conda et FFmpeg (pour la partie vidéo). Sur Linux et Windows, il faut installer X-Pose (compatible avec CUDA). Cette dépendance n'est pas supportée actuellement macOS ce qui peut limiter la génération. 

LivePortrait utilise un LLM entraîné disponible sur HuggingFace. L'inférence se fait localement. Les développeurs préviennent que sur macOS, les performances peuvent être très réduites, faute du support de X-Pose et de NVIDIA. 

La publication LivePortrait est très intéressante pour comprendre comment les chercheurs créent les animations des visages et l'ensemble des éléments (joues, nez, visage, yeux, etc.) et comment on calque les mouvements sur un modèle défini. 

GitHub : https://github.com/KwaiVGI/LivePortrait?tab=readme-ov-file

Publication : https://arxiv.org/pdf/2407.03168

OWASP : top 10 des risques LLM et GenIA

Soumis par francoistonic le

L'OWASP propose un top 10 des risques et vulnérabilités sur les LLM et les genIA en général. L'OWASP confirme que l'IA est loin d'être sécurisée, au contraire, les risques de sécurité se multiplient si l'implémentation est mal faite ou l'usage mal cadré. 

1 - injection : le prompt injection est un classique. Un prompt altère le fonctionnement prévu de la genIA et/ du LLM. Et peu à peu on influence son fonctionnement et on amène à générer des données sensibles ou des exemples d'attaque ou des réponses non prévues. Voir : jailbreaking LLM

2 - des données sensibles sont accessibles : trop d'entreprises laissent des données sensibles / privées sur les LLM. Ces données peuvent être accessibles. Il ne faut pas autoriser les LLM / genIA à accéder à ces données sauf dans un cadre strictement interne et déconnecté de l'extérieur

3 - les chaînes LLM constituent un risque et une surface d'attaque potentielle. Risque de corrompre les modèles ou les données, utiliser des API, des services non sécurisés

4 - données et modèles empoisonnés : cela signifie que les données ne sont pas qualifiés ou corrompues. Si ces données ne sont pas bonnes, le LLM sera biaisé et générera de fausses informations et de mauvaises réponses = déviance du modèle. Il faut vérifier l'origine des données et la conformité de celles-ci avec ce que l'on veut générer. Il faut aussi que le LLM soit bien défini et cadré.

5 - La gestion incorrecte des sorties fait spécifiquement référence à une validation et une gestion insuffisantes des sorties générées par le LLM. Et cela peut se propager et corrompre d'autres systèmes

6 - Trop d'agent IA peut nuire à la sécurité et au bon comportement. Avec les agents on peut perdre le contrôle de ce qu'il se passe et favoriser l'hallunication. La qualité médiocre d'un LLM est exploitée. L'agent ou la genIA ne fait pas la différence entre un bon LLM et un mauvais LLM

7 - Fuite au niveau du prompt : il ne faut pas que des identifications, des secrets ou données sensibles se retrouvent dans les réponses du prompt. Il doit "comprendre" ce qui peut être généré ou non. 

8 - Une mauvaise intégration peut être une source de vulnérabilités. Cela peut être accentué en utilisant du RAG.

9 - désinformation : finalement c'est une combinaison des précédents points

10 - consommation illimitée : on n'y pense pas forcément car un déni de services peut impacter un service IA, un genIA en le saturant de prompts qui va alors peser sur l'infrastructure. Cela peut être possible avec des prompts nombreux et longs, des requêtes envoyées en grande quantité dans un délai très court, des API mal limitées pouvant faire exploser les ressources, etc. 

JFrog : sécurité du machine learning, JFrog ML NVIDIA NIM

Soumis par francoistonic le

JFrog, éditeur spécialisé dans les solutions de sécurité, a lancé plusieurs outils dédiés à l'IA et au machine learning. Tout d'abord, l'éditeur travaille avec Hugging Face pour améliorer la sécurité et la transparence dans le machine learning, notamment pour mieux scanner les LLM. Un des défis est de garantir l'intégration et la sécurité des LLM que l'on utilise ensemble dans l'IA et le machine learning. 

« À mesure que les modèles ML deviennent essentiels pour les applications métier critiques, garantir la sécurité de ces modèles est crucial pour prévenir les violations, les fuites de données et les erreurs de prise de décision », a déclaré Asaf Karas, CTO de JFrog Security. « Nous travaillons avec Hugging Face depuis 2023 pour aider à amener les modèles ML en production de manière sécurisée. Nous avons également trouvé des modèles malveillants intentionnels dans Hugging Face au début de 2024, ce qui nous a poussés à consacrer davantage de nos experts en sécurité pour scanner et évaluer l'intégrité de tous les modèles Hugging Face afin de garantir leur sécurité pour une utilisation dans le développement d'applications IA. »

Un des défis est l'intégration des LLM. Pour ce faire, on dispose de JFROG Advanced Security et de Xray. Ces deux solutions sont présentes dans la plateforme globale Software Supply Chain. "Ces menaces incluent des attaques par sérialisation de modèles, des CVEs connus, des portes dérobées, et plus encore. Désormais, Hugging Face utilisera les scans JFrog Advanced Security dans son Hugging Face Hub, permettant à chaque modèle contenu dans la plateforme d’être scanné avant d'être téléchargé pour utilisation. Les résultats de chaque scan seront affichés de manière proéminente pour que tous les utilisateurs puissent les voir." précise l'éditeur.

Autre annonce récente, JFrog intègre NVIDIA NIM. Pour les développeurs, cela permettra de simplifier l'accès aux plateformes NVIDIA : NIM mais aussi NGC, un hub dédié au machine learning. 

Pour les développeurs, JFrog promet plusieurs avantages :

  • Flux de travail ML et DevOps unifiés : Les data scientists et les ingénieurs ML peuvent désormais versionner, sécuriser et déployer des modèles en utilisant les mêmes workflows de développement logiciel DevSecOps de JFrog qu'ils connaissent et en lesquels ils ont confiance. Cela élimine le besoin pour les équipes d'utiliser des outils ML distincts tout en garantissant des vérifications automatisées de la conformité, des pistes d'audit et une gouvernance des modèles ML via JFrog Curation.
  • Sécurité et intégrité de bout en bout : Mise en œuvre de scans de sécurité continus sur les conteneurs, les modèles IA et leurs dépendances – fournissant des informations contextuelles sur les microservices NIM – pour identifier les vulnérabilités, complétées par une détection intelligente des menaces axée sur les risques réels et une protection proactive contre les modèles IA et les packages compromis.
  • Performances et évolutivité exceptionnelles des modèles : Optimisation des performances des applications d’IA en utilisant l'infrastructure de calcul accélérée NVIDIA, offrant une faible latence et un haut débit pour un déploiement évolutif des LLM dans des environnements de production à grande échelle. Regrouper facilement les modèles ML avec leurs dépendances pour réduire les exigences externes et utiliser les workflows existants pour un déploiement IA sans faille. De plus, la plateforme JFrog offre des options de déploiement flexibles pour augmenter l'évolutivité, y compris les déploiements auto-hébergés, multi-cloud et en environnement isolé.

Enfin, l'éditeur annonce JFrog ML. Cette solution combine MLOps et DevSecOps. L'objectif est de permettre de mieux garantir des modèles plus fiables et plus sécurisées. Ces modèles peuvent ensemble être déployés en production. 

exo : exécuter un cluster IA sur vos machines locales

Soumis par francoistonic le

exo est un projet open source développé par exo labs. L'objectif est de faire fonctionner votre cluster IA chez vous sur vos terminaux disponibles. exo veut exploiter la puissance GPU de vos iPhone, Android, Mac, cartes NVIDIA, Raspberry Pi, etc. Bref, tout ce qui peut faire tourner les modèles et les couches applicatives. Il faut pouvoir installer exo sur chaque machine.

Actuellement, exo est expérimental, incomplet et instable. Il supporte LLaMA, Mistal, DeepSeek. Il permet de découper un LLM sur plusieurs machines pour pouvoir l'exécuter. exo crée un cluster entre vos différents terminaux. Il s'appuie sur une connexion p2p à travers le réseau local. L'idée est très intéressante car en effet, on dispose de terminaux à la puissance mal exploitée. Un LLM est parfois trop lourd pour une seule machine et au lieu d'utiliser des ressources cloud, on utilise ce que l'on a sous la main. 

exo nécessite Python 3.12. Sur Linux, il faut les pilotes NVIDA, le toolkit CUDA et cuDNN. exo découvre automatiquement les autres instances exo. Attention à bien être sur le même réseau. Il fonctionne sur Pi et macOS. 

Il est recommandé d'installer exo via les sources en attendant des binaires stabilités. 

site : https://github.com/exo-explore/exo

Muse : Microsoft développe une GenIA pour créer le gameplay

Soumis par francoistonic le

Muse est une nouvelle GenIA orientée jeu vidéo. Ce projet est issu de Microsoft Research Game Intelligence. Muse a été décrit dans un article paru dans Nature. L'idée de Muse est de créer ce qui est appelé un World and Human Action Model (ou WHAM). Derrière ce terme, nous trouvons une GenIA qui est là pour fournir un modèle pour le jeu vidéo. Ce modèle serait capable de générer les visuels du jeu, les actions, les deux. Bref, le gameplay. La partie visuelle génère donc le gameplay réel !

"Parallèlement, pour aider d’autres chercheurs à explorer ces modèles et à s’appuyer sur nos travaux, nous mettons à disposition en open source ldes exemples de données et mettons à disposition l’exécutable pour interagir avec le WHAM. Les développeurs peuvent expérimenter sur Azure AI Foundry." précise le blog officiel. 

Une des motivations est de comprendre ce que l'IA, et surtout la GenIA, peut apporter au développement du jeu vidéo et comment elle s'insérerait dans le modèle de développement. Les chercheurs de Microsoft Resarch travaillent avec les équipes de Ninja Theory, un studio dédié Xbox. Dès 2022, une expérimentation avait été menée avec une plateforme de recherche, Bleeding Edge. Depuis, il a fallu définir, créer et inférer le LLM. Un cluster V100 a été utilisé et l'entrainement a été fait sur 100 GPU. 

Pour le moment, aucun outil réel n'est annoncé mais cette recherche pourrait trouver un usage concret dans les environnements de gaming dans les prochains mois. 

Présentation complète de MUSE : https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/

DeepSeek-R1 arrive sur AWS, Azure et NVIDIA NIM

Soumis par francoistonic le

Business is business. Cet adage se vérifie parfaitement avec les LLM DeepSeek au coeur de l'actualité IA depuis quelques jours. Malgré les critiques et les soupçons d'une infrastructure bien plus performante que celle annoncée, la compatibilité de DeepSeek s'étend. Le LLM R1 comporte 671 milliards de paramètres. Azure annonce son support dans Azure AI Foundry et GitHub.

"DeepSeek R1 est accessible sur une plateforme fiable, évolutive et adaptée aux entreprises, permettant aux entreprises d’intégrer de manière transparente l’IA avancée tout en respectant les SLA, la sécurité et les engagements en matière d’IA responsable, le tout soutenu par la fiabilité et l’innovation de Microsoft." indique Azure. Pour l'utiliser, il faut disposer d'un compte Azure et de sélectionner DeepSeek R1 dans le catalogue de modèles. 

Annonce : https://azure.microsoft.com/en-us/blog/deepseek-r1-is-now-available-on-azure-ai-foundry-and-github/

AWS annonce ce jour la disponibilité de DeepSeek-R1 sur la plateforme cloud AWS. Il est possible de l'utiliser dans Bedrock Marketplace, dans Bedrock Custom Model Import, SageMaker JumpStart, EC2 Trn1. Annonce : https://aws.amazon.com/fr/blogs/aws/deepseek-r1-models-now-available-on-aws/

NVIDIA, qui a été malmené par l'annonce de DeepSeek, rend disponible le LLM dans un microservice NVIDIA NIM (préversion). Il est accessible sur build.nvidia.com. Il peut délivrer 3 872 tokens par seconde sur un système HGX H200. 

NVIDIA Project DIGITS : un ordinateur IA surpuissant dans un barebone

Soumis par francoistonic le

Il existe déjà des PC IA mais NVIDIA va bien au-delà en dévoilant le projet DIGITS. Le PC reprend le format barebone des Intel NUC et Mac Mini. DIGITS n'est pas un autre micro-ordinateur mais plutôt un HPC dédié à l'IA.

Il utilise un NVIDIA G10 Grace Blackweel, 128 Go de RAM, un stockage ultra rapide de 4 To. Le puce NVIDIA embarque une GPU de 1 petaflop de calculs et un CPU intégrant 20 coeurs ARM. DIGITS n'est pas là pour faire du jeu ou de la bureautique, il est taillé pour les LLM de 200 milliards de paramètres, faire de l'entrainement, développer des IA. Il sera possible de mettre en cluster plusieurs DIGITS pour pouvoir utiliser des LLM de 400 milliards de paramètres. La connexion entre les DIGITS pourra se faire via ConnectX qui sont des interfaces Ethernet hautes performantes (jusqu'à 400 Gb/s).

La machine utilise un OS dédié basé sur Linux : DGX OS. Il travaillera en transparence avec DGX Cloud. Tous les SDK et frameworks NVIDIA pourront être utilisés sur la machine. 

DIGITS devrait être disponible à partir de mai 2025 pour un prix de départ de 3 000 $. Reste à voir la configuration de base et les options proposées. DIGITS est un nom de code, peu de chance que ce soit le nom commercial de la machine. 

Quarkus LangChain4j

Soumis par fredericmazue le

Quarkus LangChain4j est une extention à Quarkus basée sur la bibliothèque LangChain4J, la réimplémentation Java de la bibliothèque langchain. Cette dernière ayant initialement été implémentée en Python et JavaScript. Cette extension permet aux développeurs d'intégrer des modèles de langage étendus (LLM) dans leurs applications Quarkus.

Les modèles de langage étendus (LLM) sont des systèmes basés sur l'IA conçus pour comprendre, générer et manipuler le langage humain, présentant des capacités avancées de traitement du langage naturel. L'extension Quarkus LangChain4j intègre de manière transparente les LLM dans les applications Quarkus, permettant ainsi d'exploiter les capacités LLM pour le développement d'applications plus intelligentes.

Quarkus LangChain4j propose une approche déclarative pour interagir avec divers LLM comme OpenAI, Hugging Face ou Ollama. Elle facilite l'invocation de fonctions LLM dans les applications Quarkus et permet le chargement de documents dans le « contexte » LLM.

Voici une liste non exhaustive des fonctionnalités actuellement prises en charge :

  • Services d'IA déclarative
  • Intégration avec divers LLM (OpenAI GPTs, Hugging Faces, Ollama...)
  • Prise en charge des outils
  • Prise en charge de l'intégration
  • Intégration du magasin de documents (Redis, Chroma...)
  • Prise en charge de la compilation native
  • Intégration avec la pile d'observabilité Quarkus (métriques, tracing...)

Quarkus LangChain4j connaît un développement rapide, avec des sorties presque hebdomadaires. La version au moment où nous écrivons ces lignes est 0.5.1. La toite première version (0.1) est sortie mi-novembre 2023.

Quarkus LangChain4j est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.