Deep learning

Microsoft propose une CLI d'importation de données Azure ML

Soumis par fredericmazue le

Microsoft a annoncé la préversion publique de l'interface de ligne de commande et du SDK d'importation de données Azure Machine Learning (Azure ML), qui est conçue pour importer facilement des données à partir de référentiels de données qui ne font pas partie de la plateforme Azure pour la formation à Azure ML. Cela inclut des bases de données comme Snowflake et des services de stockage en nuage comme AWS S3.

Cette intégration permet aux scientifiques des données d'importer directement des données depuis Snowflake, éliminant ainsi le besoin d'une communication constante avec les équipes d'ingénierie des données. Chaque importation crée une version unique de l'ensemble de données qui est à son tour utilisée dans les tâches de formation, offrant aux data scientists la traçabilité requise dans les scénarios nécessitant une nouvelle formation ou pour les audits de modèles.

Ce billet de Microsoft explique comment mettre en oeuvre cette CLi d'importation de données.

Salesforces Research ouvre le code de LAVIS

Soumis par fredericmazue le

LAVIS (abréviation de LANguage-VISion) est une bibliothèque d'apprentissage en profondeur open source pour la recherche et les applications de la vision du langage, offrant un support complet pour un large éventail de tâches, d'ensembles de données et de modèles.

LAVIS dispose d'une interface unifiée pour accéder facilement à des modèles de langage d'image et de langage vidéo de pointe et à des ensembles de données communs. LAVIS prend en charge la formation, l'évaluation et l'analyse comparative sur une grande variété de tâches, y compris la classification multimodale, la récupération, le sous-titrage, la réponse visuelle aux questions, le dialogue et la pré-formation. LAVIS est également extensible et configurable, pour faciliter le développement et la personnalisation futurs.

Les composants clés de la bibliothèque sont organisés selon une conception modulaire. Cela permet, d'après SAlesforce Research, un accès prêt à l'emploi à des composants individuels, un développement rapide et une intégration facile de composants nouveaux ou externes. La conception modulaire facilite également les inférences de modèle, telles que l'extraction de caractéristiques multimodales.

LAVIS est un logiciel libre sous licence BSD 3, disponible sur GitHub.

Microsoft ajoute ZeRo-Infinity a sa bibliothèque DeepSpeed

Soumis par fredericmazue le

Microsoft a ajouté ZeRO-Infinity à sa bibliothèque de formation open source DeepSpeed. Pour mémoire, DeepSpeed ​​est une bibliothèque d'optimisation de l'apprentissage en profondeur qui rend, selon Microsoft, la formation distribuée facile, efficace et efficiente.

ZeRO-Infinity est une nouvelle technologie de formation d'apprentissage en profondeur (Deep Learning) pour faire évoluer la formation de modèles d'un seul GPU à des superordinateurs massifs avec des milliers de GPU.

ZeRO-Infinity (Zero Redundancy Optimizer) améliore la capacité du système en allant au-delà du mur de mémoire du GPU et permet ainsi d'entraîner des modèles avec des dizaines de milliards de paramètres, un ordre de grandeur supérieur à ce que les systèmes de pointe peuvent prendre en charge, selon Microsoft. ZeRO-Infinity offre également une voie prometteuse vers la formation de modèles de 100 000 milliards de paramètres, toujours selon Redmond.

La vidéo ci-dessous montre comment ZeRO-Infinity exploite efficacement le GPU, le CPU et le NVMe en 1) partitionnant chaque couche de modèle sur tous les processus de données parallèles, 2) en plaçant les partitions sur les périphériques NVMe parallèles de données correspondants, et 3) en coordonnant le mouvement des données nécessaires pour calculer la propagation avant/arrière et les mises à jour de poids sur les GPU et les CPU parallèles aux données, respectivement.

CodeCarbon : un outil open source pour évaluer l'empreinte carbone de l'intelligence artificielle

Soumis par fredericmazue le

La société Comet spécialisée en intelligence artificielle et en apprenstissage automatique, se préoccupe de l'empreinte carbone de ces outils.

Au cours de l'été 2019, un groupe de chercheurs dirigé par Emma Strubell de l'Université du Massachusetts à Amherst a publié une étude qui estimait que la formation d'un seul modèle d'apprentissage en profondeur pouvait produire jusqu'à 626155 livres d'émissions de CO2. À titre de comparaison qui donne à réfléchir, ce montant est similaire aux émissions de CO2 produites par un Américain moyen sur 17 ans.

Pour Comet, le problème ne fait qu'empirer. Dans notre environnement de recherche centré sur l'apprentissage en profondeur, les progrès de l'intelligence artificielle sont réalisés en grande partie grâce à la création de modèles plus volumineux, à l'agrégation d'ensembles de données plus volumineux et à l'exploitation de plus de puissance de calcul.

Que peuvent faire les chercheurs pour atténuer l'empreinte carbone de leurs recherches? La première étape consiste à rendre les émissions associées à l'apprentissage automatique plus accessibles et transparentes. 

À cette fin, Comet s'est associé à certains des principaux chercheurs et praticiens en IA au monde - MILA , le laboratoire de recherche en IA dirigé par Yoshua Bengio à Montréal, BCG GAMMA , la division Analytics and Data Science du Boston Consulting Group, et Haverford College, pourcréer CodeCarbon, un package Python open source pour aider les chercheurs à suivre l'empreinte carbone de leurs recherches.

CodeCarbon enregistre la quantité d'énergie utilisée par l'infrastructure sous-jacente des principaux fournisseurs de cloud et des centres de données sur site hébergés en privé. Sur la base de sources de données accessibles au public, il estime la quantité d'émissions de CO₂ produites en se référant à l'intensité carbone du mix énergétique du réseau électrique auquel le matériel est connecté. Un projet public sur le site de Comet permet de voir CodeCarbon en action. (2ème video ci-dessous)

CodeCarbon est un logiciel libre sous licence MIT disponible sur GitHub.

[video:https://vimeo.com/486015008 autoplay:0]

[video:https://vimeo.com/486054680 autoplay:0]

Google ouvre le code d'ALBERT une version allégée de son modèle de traitement du langage naturel BERT

Soumis par fredericmazue le

ALBERT pour A Lite BERT est un modèle de traitement du langage naturel qui utilise 89% de paramètres de moins que son grand frère BERT, que Mountain View utilise dans son moteur de recherche. Google vient d'ouvrir le code d'ALBERT.

ALBERT utilise deux optimisations pour réduire la taille du modèle initial : une factorisation de la couche d'intégration et le partage des paramètres entre les couches cachées du réseau. grâce à la combinaison de ces deux optimisation, ALBERT ne reçoit que 121 Mo de paramètres, tandis que BERT en reçoit 108. Ceci pour une perte mineure de performances, explique Google dans un billet.

Le code et les modèles d'ALBERT sont disponibles sur GitHub.

Earthcube ouvre l'accès de sa plateforme de développement IA aux entreprises

Soumis par fredericmazue le

Earthcube, une startup spécialisée dans l’IA au service des systèmes critiques rend disponible sa plateforme de développement de solutions d’Intelligence Artificielle. Cette plateforme de développement qu’Earthcube utilise aujourd’hui pour mettre au point ses propres algorithmes regroupe deux composants principaux : 

Framework IA : Ce framework, développé en interne par l’équipe de data scientists d’Earthcube à partir de Keras et Tensorflow permet de développer rapidement des solutions d’Intelligence Artificielle répondant à des enjeux critiques de robustesse et de performances et d’autonomie. Le framework IA englobe toutes les étapes de la création de modèles de deep learning : la création des datasets d'entraînement, le design de l’architecture, l’entraînement du modèle, la prédiction avec le modèle entraîné ainsi que la possibilité de faire une évaluation précise de cette prédiction, ainsi qu’une brique dédiée au déploiement en production des modèles. Le framework intègre en outre plusieurs types d’architectures de réseaux de neurones, comme ResNet, Retinanet ou encore Segcaps, intégralement paramétrables de manière très simple. Chaque paramètre de l’architecture choisie peut être adapté en modifiant le fichier de paramétrage initial. Il est donc possible de choisir entre utiliser des briques technologiques préexistantes et les modifier si besoin, ou de développer les briques soi-même, pour finalement assembler ces différentes briques entre elles.  

Data Platform : La Data Platform d’Earthcube, interconnecté avec le framework IA, est un outils clé pour la productivité et le passage à l’échelle. La Data Platform permet non seulement une visualisation des données mais aussi une meilleure compréhension de ces dernières, en agrégeant leurs métadonnées (type de capteurs, conditions météorologiques, etc) pour créer des datasets d’entraînements et de tests plus pertinents et augmenter la fiabilité et la performance des modèles.

L’interconnexion avec l’IA framework permet d’accéder automatiquement à des informations précédemment enregistrées, telles que des datasets pré-construits, mais aussi aux modèles existants et ainsi de faire tourner des tests automatiquement. Enfin, la plateforme permet une analyse quantitative et qualitative des comportements des modèles en affichant les résultats directement sur les images, ainsi que leurs métriques de performance. Cela permet à l’équipe de Data Science de vérifier rigoureusement la manière dont les modèles se comporteront une fois déployés. 

"Notre propre plateforme de développement IA permet aux entreprises de s’appuyer sur des outils fiables, robustes et avant-gardistes pour accélérer le développement et le déploiement à grande échelle de leurs applications dans le domaine de l’Intelligence Artificielle", déclare Arnaud Guérin, CEO et co-fondateur d’Earthcube. "Cette plateforme, initialement développée pour notre productivité interne, est le fruit de notre expérience dans le développement de solutions IA pour les secteurs critiques, comme le secteur de la Défense. Elle répond donc à des enjeux très élevés de fiabilité, de performance et d’autonomie".

La plate-forme est disponible aussi bien on premise qu’en fonctionnement SaaS. 

[video:https://www.youtube.com/watch?v=hLet5dIb7ic autoplay:0]

Sortie de TensorFlow 2.0

Soumis par fredericmazue le

TensorFlow est un outil de machine learning et de deep learning. Il expose une API en Python. Google l'utilise en interne, notamment pour Inception v3, son architecture de reconnaissance d'image.

Google a ouvert le code de TensorFlow en 2015. Moutain View a annoncé lundi la sortie de TensorFlow 2.0 en version finale.

Cette mouture met l'accent sur la simplicité et la facilité d'utilisation, selon les termes de Google. La construction de modèles avec Keras est présentée comme étant facile, et l'exécution rapide. C'est toujours selon Google, le plus gros point fort de cette version 2.0. Google souligne aussi avoir simplifié l'API en réduisant la duplication et en supprimant les terminaux obsolètes.

TensorFlow 2.0 fournit Keras en tant qu'API de haut niveau centrale utilisée pour créer et former des modèles. Keras fournit plusieurs API de création de modèle, telles que Séquentielle, Fonctionnelle et Sous-classification, ainsi qu'une exécution rapide, pour une itération immédiate, un débogage intuitif, et la construction de pipelines d'entrée évolutifs. Google renvoie à cette documentation pour plus de détails.

En revanche Google a effectué de nombreuses modifications d'API qui entraînent des incompatibilités avec les versions antérieures. En outre TensorFlow 2.0.0 est construit à l'aide de devtoolset7 (GCC7) sur Ubuntu 16. Cela peut entraîner des incompatibilités ABI avec des extensions construites à l'aide de versions antérieures de TensorFlow.

TensorFlow c'est aussi une notable amélioration de performances, grâce à une meilleure utilisation des GPU. TensorFlow 2.0 offre des performances d’entraînement jusqu’à trois fois plus rapides en utilisant une précision mixte sur les GPU Volta et Turing avec quelques lignes de code. TensorFlow 2.0 est étroitement intégré à TensorRT et utilise une API améliorée pour offrir une meilleure convivialité et de hautes performances lors de l’inférence sur les GPU NVIDIA T4 Cloud sur Google Cloud.

Kari Briski, directeur principal de la gestion des produits de logiciel d'informatique accélérée chez NVIDIA a commenté ainsi la sortie de TensorFlow 2.0  : "L'apprentissage automatique sur les GPU et les systèmes NVIDIA permet aux développeurs de résoudre des problèmes qui semblaient impossibles il y a quelques années. TensorFlow 2.0 est doté de nombreuses fonctionnalités d’accélération GPU exceptionnelles et nous avons hâte de voir les étonnantes applications d’IA que la communauté créera avec ces outils mis à jour."

[video:https://www.youtube.com/watch?&v=EqWsPO8DVXk autoplay:0]

Deep Learning : Météo-France publie une formation en français, en libre accès et en open source

Soumis par fredericmazue le

Afin de tirer le meilleur parti de la richesse de ses bases de données météorologiques, Météo-France investit sur des technologies d'intelligence artificielle. Dans ce cadre, l'établissement a créé une formation d'initiation en deux jours au Deep Learning destinée à ses agents. Cette initiation étant adaptée à d'autres domaines d'application que la météorologie, Météo-France a choisi de publier sur la plateforme GitHub les supports de cours et les codes sources des travaux pratiques, en open source et en français, pour contribuer au développement des compétences en intelligence artificielle dans la communauté francophone.

La formation est disponible ici : https://github.com/meteofrance/formation-deep-learning.

Météo-France invite par ailleurs les connaisseurs du domaine à améliorer ou compléter cette initiation : les propositions de modification peuvent être soumises directement sur GitHub.

Programme de la formation

Cette formation s'adresse à des chercheurs, ingénieurs d’études et développeurs n'ayant pas de connaissance préalable du domaine. Elle nécessite comme seuls pré-requis des connaissances de base en programmation en Python et un niveau de premier cycle universitaire en mathématiques. La formation comporte 9 cours et 5 modules de travaux pratiques.

Cours 0 - Programme de la formation

Cours 1 - Introduction au Machine Learning

Cours TP 1 - Python pour Data Scientists

TP 1 - Python pour Data Scientists

TP 2 - Reconnaissance de chiffres manuscrits (modèles linéaires, random forest...)

Cours 2 - Introduction au Deep Learning

Cours 3 - La librairie Keras

TP 3 - Réseaux convolutionnels : reconnaissance de chiffres manuscrits avec Keras

Cours TP 4 - Visualisation et Transfer Learning

TP 4 - Transfer Learning : classification d'images

Cours 4 - Architecture de réseaux convolutionnels

Cours TP 5 - Segmentation par pixels avec Unet

TP 5 - Segmentation par pixels avec Unet

Cours 5 - Réseaux récurrents

Les planches des cours sont au format Markdown, afin d'être aisément modifiables. Une version pdf est également disponible. Les TP sont en Python 3, au format Jupyter Notebook. Leurs corrections sont fournies. Cette formation est partagée par Météo-France sous la licence Apache 2.0.

ML.NET arrive en version 1.0 Release Candidate

Soumis par fredericmazue le

ML.NET est un framework de machine learning open source et multi plates-formes destiné aux développeurs .NET. Il est disponible pour Windows, Linux et macOS. Avec ML.NET, les développeurs peuvent exploiter leurs outils et compétences existants pour développer et infuser une intelligence artificielle personnalisée dans leurs applications en créant des modèles d’apprentissage automatique personnalisés pour des scénarios courants tels que l’analyse des sentiments, la recommandation, la classification des images, etc. indique Microsoft dans son annonce de la sortie de ce framework en version 1.0 Release Candidate.

La version finale arrivera dans le courant du trimestre. Il est à remarquer toutefois que si cette version finale sera, par définition, prête pour la production, des packages resteront en version preview. Il s'agit de :

  • Composants TensorFlow
  • Composants Onnx
  • Composants TimeSeries
  • Composants de recommandation

Microsoft semble fortement vouloir promouvoir ce framework auprès des développeurs. En effet, les sorties des versions préliminaires se sont succédées à un rythme très élevé : 1 par mois. Par ailleurs dans son annonce Microsoft souligne que les développeurs qui souhaitent utiliser ML.NET dans leur application et passer en production peuvent contacter un ingénieur de l'équipe ML.NET sur le site officiel afin d'être aidés dans leurs implémentations.

ML.NET est un logiciel libre sous licence MIT. Il est disponible sur GitHub. 

En septembre 2018, lors de sa conférence Ignite, Microsoft a présenté longuement ML.NET. Vidéo ci-dessous.

[video:https://www.youtube.com/watch?v=yDa8zsyKJRw autoplay:0]

AlphaStar bat des joueurs professionnels de StarCraft II

Soumis par fredericmazue le

En 2016 et 2017 AlphaGo, l'intelligence artificielle de la société DeepMind, filiale de Google, a battu les champions de Go Lee Sedol et le prodige Ke Jie. Dès 2016, DeepMind indiquait vouloir relever de nouveaux défis et s'attaquer à StarCraft II, avec l'ambition que son intelligence artificielle batte des joueurs professionnels.

Pourquoi StarCraft II ? DeepMind le considère comme le meilleur jeu à un contre un de tous les temps, la crème des jeu. Contrairement au Go ou aux Echecs, le monde de StarCraft n'est pas un monde ordonné où tous les paramètres sont définis à l'avance. StarCraft reproduit en quelque sorte le manque d'organisation du monde réel, souligne DeepMind. De plus, le brouillard fait que le jeu doit de nouveau être exploré à chaque partie. Alors un programme d'intelligence artificielle qui sera capable d'apprendre à bien jouer à StarCraft II, trouvera des applications dans le monde réel. C'est l'enjeu.

DeepMind a baptisé AlphaStar son programme d'intelligence artificielle pour StartCratf II. Le 19 décembre dernier, au cours d'un match en 5 parties, AlphaStar a battu Grzegorz 'MaNa' Komincz, qui figure parmi les plus forts joueurs deStarCraft professionnels du monde, sur le score de 5 à 0. Ceci après avoir battu au cours d'un match de référence Dario 'TLO' Wünsch, le coéquipier Grzegorz 

Les matches se sont déroulés dans des conditions de match professionnelles sur une carte en échelle de compétition et sans aucune restriction de jeu, précise fièrement DeepMind dans son communiqué.

DeepMind exlique : Le comportement d'AlphaStar est généré par un réseau de neurones profonds qui reçoit des données d'entrée de l'interface de jeu brute (une liste d'unités et de leurs propriétés) et génère une séquence d'instructions constituant une action dans le jeu. Plus précisément, l’architecture de réseau neuronal applique aux unités un torse de transformateur (similaire à  l’apprentissage par renforcement relationnel profond relationnel ), associée à un noyau LSTM profond , à une tête de stratégie auto-régressive avec un réseau de pointeurs et à une valeur de référence centralisée.. Nous pensons que ce modèle avancé contribuera à de nombreux autres problèmes de recherche en apprentissage automatique impliquant la modélisation de séquence à long terme et les grands espaces de sortie tels que la traduction, la modélisation du langage et les représentations visuelles.

Et ajoute : AlphaStar utilise également un nouvel algorithme d’apprentissage multi-agents. Le réseau de neurones a été initialement formé par apprentissage supervisé à partir de jeux humains anonymisés publiés par Blizzard . Cela a permis à AlphaStar d’apprendre, par imitation, les stratégies de base micro et macro utilisées par les joueurs de l’échelle StarCraft. Cet agent initial a vaincu l'IA intégrée de niveau «Elite» - autour du niveau de l'or pour un joueur humain - dans 95% des matchs.

[video:https://www.youtube.com/watch?v=cUTMhmVh1qs autoplay:0]