Qwen

Strata exécute Qwen 3.8 Flash Next sur un « simple » PC

Soumis par francoistonic le
IA
Image

Strata, un moteur d'inférence open source sous licence MIT, fait tourner Qwen 3.8 Flash Next, un modèle de 125 milliards de paramètres sur un PC équipé d'une d’une GPU NVIDIA (GeForce RTX séries 20 à 50) ou AMD (Radeon RX 6800 et au-delà) avec au moins 12 Go de RAM, sous Windows ou Linux. Strata répartit le travail entre GPU, RAM, CPU et stockage. La RAM nécessaire dépend de la variante et du GPU, 32 Go au minimum, et il faut environ 80 Go d'espace disque libre. 

Le modèle discute, écrit du code, lit des images (avec des restrictions sur AMD) et sert les agents de codage par une API compatible OpenAI et Anthropic sur localhost. L'inférence est locale.

Mesures publiées par les auteurs : 94 tokens par seconde en écriture et 2 650 en lecture de prompt sur une RTX 5070 avec 12 Go, avec 64 Go de RAM et une quantification Q2_0 ; 60 et 1 160 sur une RX 9070 XT, avec environ 47 Go de RAM.

L'installation est assistée : un double-clic sur START-HERE.bat sous Windows, setup.sh sous Linux, ou un prompt à confier à son agent. La version 0.1.39 du 4 octobre accélère le décodage d'environ 6 % sur certaines configurations, accepte en option plusieurs requêtes à la fois, ce qui peut ralentir une carte de 12 Go, et ajoute l'API Response d'OpenAI pour Codex.

GitHub : https://github.com/Niko1221/Strata

Alibaba annonce Qwen3.8-Max

Soumis par francoistonic le
IA

Alibaba annonce son nouveau LLM : Qwen3.8-Max. Doté de 2 400 milliards de paramètres et d'une fenêtre de contexte pouvant atteindre 1 million de tokens, Qwen3.8-Max se classe cinquième sur Text Arena et deuxième sur Vision Arena. Il se distingue également par ses performances en programmation, dans les tâches professionnelles du quotidien, la recherche et les missions nécessitant un raisonnement sur de longues séquences. Conçu comme un modèle de fondation multimodal, Qwen3.8-Max prend aussi en charge le traitement et la compréhension d'images.

Disponible dès à présent via les API de Model Studio, la plateforme d'IA d'Alibaba Cloud, Qwen3.8-Max peut être utilisé par les développeurs du monde entier. Les poids du modèle seront publiés la semaine prochaine, tandis qu'une version de démonstration est déjà accessible sur QwenWork, la plateforme d'agents IA tout-en-un d'Alibaba dédiée aux usages professionnels.

Ce LLM se base sur la version 3.5 et l'architecture Sparce Mixture of Experts, MoE. "Cette conception permet de trouver un équilibre essentiel entre le passage à très grande échelle et l’efficacité de l’inférence. Bien que le modèle compte 2 400 milliards de paramètres au total, seuls 95 milliards de paramètres sont activés à chaque inférence. Grâce à cette architecture, Qwen3.8-Max offre des performances de pointe sur les tâches les plus complexes, tout en réduisant significativement les coûts de calcul et la latence par rapport aux modèles denses traditionnels de taille comparable." explique l'éditeur.

Alibaba promet une bonne performance dans le codage. "Lors de tests internes, le modèle a ainsi mené à bien un projet réel d'ingénierie logicielle sur une période de 16 jours. Chargé de développer de zéro un framework d'agents auto-évolutif, Qwen3.8-Max a mis en place une boucle d'ingénierie intégrant les retours des utilisateurs, les meilleures pratiques de la communauté et les données issues de ses propres tests. " commente Alibaba.

Il se distingue également par sa capacité à exécuter des tâches et à générer du contenu à partir de retours visuels en temps réel. Qwen3.8-Max peut notamment transformer des vidéos brutes en vlogs professionnels, recréer une interface web complète à partir d'une capture d'écran, convertir des plans 2D en visualisations 3D ou développer des jeux à partir d'instructions en langage naturel.

Qwen3-ASR : Alibaba ouvre ces vLLM

Soumis par francoistonic le
IA
Image

Alibaba, un des géants techs chinois, annonce la mise en open source des modèles Qwen-3ASR et ForcedAligner. ASR est un LLM dédié à la reconnaissance vocale. Les deux LLM servent à identifier la langue, actuellement 52 langages et accents sont supportés. La reconnaissance vocale est supportée par 30 langues et 22 dialectes chinois ainsi les accents anglais de plusieurs pays. Cela concerne les modèles ASR-1.7B et 0.6B. 

Pour Alibaba, les enjeux sont de fournir des vLLM avec une taux de reconnaissance le plus fiable et fidèle possible. La version 0.6b joue sur l'optimisation du modèle et est un compromis entre précision et efficacité de la reconnaisance. Des SDK dédiés sont disponibles pour intégrer les LLM et les entraîner sur des nouvelles données. 

Ces LLM s'appuient sur le modèle Qwen-3 Omni qui est un des LLM de référence d'Alibaba. 

Pour démarrer. Il faut installer Qweb3-ASR avec le paquet quwen-asr disponible sur PyPi. Alababa conseille d'utiliser un environnement Python 3.12. 

Tous les détails : https://github.com/QwenLM/Qwen3-ASR