cluster

Isopod : un langage pour faciliter la configuration de clusters Kubernetes multiples

Soumis par fredericmazue le

Cruise est une start-up qui construit des véhicules autonomes. Pour ses besoins, elle a conçu Isopod, un langage DLS (Domain Specific Language) facilitant la configuration de clusters Kubernetes multiples.

Charles Xu, ingénieur logiciel chez Cruise, explique que la start-up a utilisé Isopod pour migrer des add-ons et en ajouter de nouveaux à plusieurs clusters Kubernetes. Le résultat a été un déploiement 80% plus rapide et une réduction de 60% de la taille du code, grâce à la réutilisation. Cruise vient d'ouvrir le code d'Isopod.

Plutôt que de s'appuyer sur les fichiers YAML, Isopod affiche les objets Kubernetes sous forme de tampons de protocole (Protocol Buffers) pouvant être utilisés par l'interface de programmation d'application (API) Kubernetes. Avec Isopod, les configurations sont écrites en Starlak, un dialecte de Python créé par Google. Isopod étend Starlark avec des fonctionnalités d'exécution intégrées pour accéder aux services et utilitaires tels que la gestion des secrets Vault, Kubernetes apiserver, le requester HTTP, l'encodeur Base64 et le générateur UUID. Isopod utilise également un environnement d'exécution distinct pour les tests unitaires afin de simuler tous les éléments intégrés.

Un article de Charles Xu détaille le fonctionnement d'Isopod.

Isopod est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.

Oracle présente un superordinateur constitué de 1060 Raspberry Pi

Soumis par fredericmazue le
Image

Oracle a fait sensation lors de la convention OpenWorld, en présentant un superordinateur constitué de 1060 Raspberry Pi, rapporte tomshardware.com

Chaque unité se connecte à un serveur renommé Supermicro 1U Xeon, qui sert de serveur de stockage central pour l’ensemble du supercalculateur. Pour loger correctement les Raspberry Pi, Oracle a créé des racks spéciaux, imprimés en 3D.

Oracle ne prévoit pas de faire un produit commercial de ce supercalculateur. Concernant la motivation d'Oracle pour créer cette machine, un membre de la société à simplement commenté : un gros cluster, c'est cool, en ajoutant que c'est un bel exemple de ce qu'il est possible de faire avec un petit ordinateur valant 35 euros.


Photo : tomshardware.com


Photo : tomshardware.com

Spotify ouvre le code de cstar

Soumis par fredericmazue le

Spotify a récemment ouvert le code de cstar, qui est un outil d’orchestration de clusters Apache Cassandra en ligne de commande.

cstar est né de la nécessité d'exécuter des commandes shell dans les nœuds Cassandra. Ces commandes shell sont généralement liées aux performances, à la sécurité, à la cohérence, à la mise à niveau, etc.

En 2017, la flotte de Spotify Cassandra a atteint 3 000 noeuds, ce qui a rendu de plus en plus urgent pour la société de disposer d’une solution sûre et efficace pour exécuter des commandes de shell. La simple mise à jour de cette flotte prenant des allures de cauchemar.

A la différence de Ansible, cstar tient compte de la topologie des cluster.s A la différence de Fabric, cstart est thread-safe.

Pour utiliser ctsar toutes les machines doivent tourner avec un système d'exploitation de de type UNIX, tel que OS X ou Linux, avoir un shell Bourne et Python 3 installé.

cstar est disponible sur GitHub.

Un Français remporte le concours Intel Modern Code Developer

Soumis par fredericmazue le
Image

Le concours pour programmeurs parallèles Intel Modern Code Developer, organisé en collaboration avec le CERN Openlab  a réuni quelque 17.000 étudiants issus de plus de 130 universités et écoles à travers le monde. Et c’est un Français, Mathieu Gravey, étudiant en dernière année de l’Ecole des Mines d’Alès, qui l’a remporté. Il a réussi le défi proposé : optimiser le code source d’une application simulant la formation et la croissance des millions de cellules du cortex cérébral afin d’accélérer la recherche en la matière.

Avec l’aide des ressources pédagogiques mises à disposition et l’accès à un cluster doté des performances de la combinaison des familles de processeurs Intel Xeon et des coprocesseurs Intel Weon Phi, Mathieu Gravey a réussi à réduire l’exécution du code sur une masse énorme de données à seulement quelque 8 mn 30 s, contre 45 h précédemment. Il remporte ainsi un stage de neuf semaines au CERN Openlab, près de Genève.

Déjà utilisé dans sa version originale au sein de l’un des projets de recherche menés dans le cadre du CERN Openlab, le code ainsi accéléré est mis à disposition de la communauté de chercheurs en open source. En permettant de s’approcher au plus près des mécanismes de développement du tissu cérébral, en intégrant aussi bien des facteurs génétiques que temporels, ce code offre de nouvelles possibilités d’identification des causes, et donc des traitements potentiels, de troubles tels que l’autisme, l’épilepsie ou la schizophrénie. La puissance du calcul croissante des clusters devrait permettre de concevoir de nouveaux remèdes grâce au code source.

Nano Server, un Windows Server minimaliste taillé pour le cloud ?

Soumis par fredericmazue le
Image

Windows Server 2016 se fait attendre. Son développement est long. Nous ne le verrons pas cet été en compagnie de Windows 10.

Est-ce que cela signifie que, outre un Windows Server 'classique', Microsoft serait en train de concocter quelque chose de nouveau ? Cela se pourrait bien, à en croire un diaporama constitué de ce qui semble être des documents Microsoft internes, diaporama qui a fuité via le site russe Wzor,  spécialisé en la matière. Bien sûr nous n'en sommes pour l'instant qu'au stade de la rumeur, mais une rumeur que Mary-Jo Foley, toujours très fiable en ce qui concerne ce qui se passe chez Microsoft, vient de crédibiliser très fortement, en lui consacrant un billet.

Nous savons que Windows 10 est le prochain chapitre de Windows. Le diaporama qui a fuité nous apprend par son intitulé que Windows Server a désormais un avenir : Nano Server : Le futur de Windows Server commence maintenant. A croire qu'avant cela, Windows Server était le punk de systèmes d'exploitation : no future :-)

Comme son nom le suggère très fortement, Nano Server devrait être un système d'exploitation très léger. Taillé avant tout pour le cloud. Son utilisation de choix devrait être de constituer des grappes.

Nano Server pourra être tout aussi bien un système d'exploitation sur une machine physique, qu'un système d'exploitation invité dans une machine virtuelle, ou encore être lui-même un conteneur pour des systèmes d'exploitation invités.

Léger quant à son empreinte, Nano Server devrait également être léger en ce qui concerne son administration. Celle-ci devrait pouvoir être entièrement automatisée au moyen de la WMI (l'API Windows Management Interface dont disposent tous les systèmes Windows) et PowerShell. Ou plutôt un PowerShell ramené à l'essentiel : Core PowerShell.

En tant que serveur minimaliste, Nano Server ne fera pas, nativement, tourner des services comme Remote Desktop Services. Mais il pourra servir de fondation pour y installer de nouveau composant.

Un système d'exploitation léger, à l'aise dans les clusters et administrable par des outils en lignes de commande... Des mauvaises langues diraient que Microsoft réinvente le serveur Linux :-)

Zend Server 6.2

Soumis par fredericmazue le

S'appuyant sur la sortie du Zend Blueprint for Continuous Delivery, Zend annonce une nouvelle version de Zend Server qui intègre des capacités renforcées pour l'automatisation des infrastructures et des releases applicatives.

Zend Server est la plateforme qui se situe au cœur du Zend Blueprint for Continuous Delivery, et fournit des capacités de cohérence, d'automatisation et de collaboration dans la réalisation d’une application, depuis le code jusqu’à la mise en production. Le Blueprint apporte des bonnes pratiques concrètes pour aider les entreprises à mettre en œuvre chaque étape du cycle de déploiement continu. Il comprend à la fois la plateforme Zend Server et un ensemble de patterns qui permet de codifier les bonnes pratiques d'intégration continue, les automatisations des releases et de l'infrastructure et de la gestion des applications.

Amélioration de l'automatisation des infrastructures

Le provisionnement intelligent des infrastructures est un aspect essentiel du déploiement continu. Zend Server permet une automatisation de l'infrastructure à travers le provisionnement automatique, le contrôle de configuration pour les applications PHP, et fournit la scalabilité nécessaire pour les applications basées sur le Cloud.

Zend Server 6.2 a amélioré le workflow d'automatisation du déploiement d'applications en offrant la possibilité de gérer et de fournir des configurations de serveurs virtuels à l’échelle du cluster, y compris un support spécialisé pour les configurations sécurisées (basées sur SSL). Comme les nouveaux serveurs sont provisionnés, ils reçoivent automatiquement la bonne configuration de l'hôte virtuel, et toutes les modifications sont automatiquement distribuées à travers le cluster. Cela élimine les étapes manuelles contenues dans ces workflows et offre un degré supplémentaire d'automatisation.

« Accueillir plus d'un site Web sur une instance serveur est un cas d'utilisation assez répandu chez nos clients », a déclaré Zeev Suraski, co-fondateur et CTO de Zend. « Avec la version 6.2, nous apportons les puissantes fonctionnalités d’automatisation et de synchronisation de Zend Server dans le monde des serveurs virtuels Apache et des blocs de serveurs Nginx. »

Automatisation optimisée des releases

En tant que plateforme pour le déploiement continu, Zend Server offre des fonctionnalités de déploiement automatisé pour les applications PHP. Il s'agit notamment de la possibilité de déployer automatiquement des applications sur un cluster de serveurs, de valider les dépendances et l'utilisation rapide et automatisée d’un rollback en cas de besoin. En outre, Zend Server fournit désormais la possibilité de gérer plusieurs versions d'une bibliothèque sur un serveur, de sorte que différentes applications avec des besoins différents peuvent les utiliser sans entrer en conflit.

Faire abstraction du code réutilisable dans les bibliothèques est une bonne pratique pour la conception d'applications, mais cela implique aussi que les bibliothèques sont à jour et standardisées sur l’ensemble du cluster. Les capacités de gestion de bibliothèques de Zend Server 6.2 permettent d'éviter les erreurs applicatives issues des versions des bibliothèques qui sont en inadéquation ou désynchronisées sur le cluster. Avec la version 6.2, les capacités de gestion de bibliothèques de Zend Server sont renforcées et permettent désormais de mettre à jour de nouvelles bibliothèques automatiquement.

Ces capacités s’ajoutent à la bibliothèque de patterns et de bonnes pratiques que Zend a déjà publiées dans le cadre de son Blueprint for Continuous Delivery, qui est disponible sur www.zend.com/blueprint. Les patterns et les plug-ins permettent d’intégrer facilement Zend Server avec les logiciels d'intégration continue, d’automatisation d'infrastructure et de surveillance les plus populaires. Zend a déjà publié des patterns pour l'intégration continue avec Jenkins, l’automatisation de l'infrastructure avec Chef, les scripts shell, VMware vCloud Automation Center, et de monitoring avec Nagios. Un ensemble de SDK est disponible pour permettre des intégrations plus personnalisées qui peuvent être utilisées pour des processus et des logiciels d’intégration continue déjà existants.

Zend fait appel à toutes les bonnes volontés pour contribuer aux patterns du Blueprint, qui peuvent être consultés sur GitHub.


Zend Server 6.2 peut être téléchargé dès aujourd'hui sur www.zend.com/fr/product/server.

Intel Cluster Studio XE 2012 : les hautes performances en cluster

Soumis par francoistonic le

Intel Software propose une nouvelle suite de développement et d’optimisation : Intel Cluster Studio XE. Cette suite cible les fortes montées en charge, les applications et systèmes HPC.

C’est la première fois que Intel propose une telle suite logicielle spécifique au HPC centrée autour de MPI, librairie bien connu dans le développement multithread et parallèle. Elle comprend Composer XE (compilateurs et librairies), Trace Analyzer and Collector, MPI Librairy, MPI Benchmarks, VTune Amplifier XE, Inspecter XE.

Tarifs : à partir de 1 499 $ pour la version Cluster Studio, à partir de 2 499 $ pour la version XE. Disponible sur Linux et Windows. Pour en savoir plus : http://software.intel.com/en-us/articles/intel-cluster-studio-xe/

Red Hat annonce High Performances Computing Linux

Soumis par fredericmazue le

Red Hat, fournisseur de solutions Open Source, annonce la disponibilité de la première plate-forme High Performance Computing (HPC) Linux intégrée de l’industrie avec sa solution Red Hat HPC Solution : une pile logicielle tout en un pour déployer des clusters HPC, les exécuter et les gérer. Tout d’abord annoncée en collaboration avec Platform Computing en novembre 2007, l’offre HPC Solution est distribuée aujourd’hui par Red Hat Network, assortie des services de support de Red Hat disponibles partout dans le monde, 7j/7 et 24h/24.

L’offre Red Hat HPC Solution intègre tous les composants indispensables pour le déploiement et la maintenance des clusters HPC, dont Red Hat Enterprise Linux 5.2, le premier système d’exploitation Open Source au monde, et Platform Open Cluster Stack 5., le framework de cluster logiciel de Platform Computing. La solution inclut également des pilotes de périphériques, un programme simple d’installation de cluster, des outils d’administration de clusters, une console de surveillance des ressources et des applications, le support d’interconnexion nécessaire et Platform Lava, un puissant planificateur de tâches.

Toujours concernant le déploiement et la gestion des clusters HPC, Red Hat, Dell et Platform Computing se sont associés pour commercialiser ensemble un package complet de cluster de calcul, Platform Open Cluster Stack (OCS), visant à simplifier le déploiement et la gestion de cluster et l’utilisation de Red Hat HPC Solution.

Pour en savoir plus sur Red Hat HPC, rendez-vous sur www.redhat.com/hpc

CMC stocke ses vidéos sur des serveurs Isilon

Soumis par fredericmazue le

ISILON SYSTEMS vient d’installer chez CMC, l’un des laboratoires majeur de vidéo, un cluster de 7 nœuds IQ9000i/x permettant de stocker jusqu’à 63 To bruts de contenus vidéo. Cette plateforme située sur le site de production de CMC à Malakoff, centralise l’encodage, le transcodage et « l’authoring » (la réalisation des menus, de l'interactivité, de l'enchaînement des séquences et des chapitres d’un DVD) pour la vidéo à la demande et l’édition de DVD au format Bluray.

Yan Rocheteau, Directeur informatique de CMC ajoute « La bande passante globale du cluster et son système de fichier unique permettent de traiter en parallèle des centaines d'opérations de transcodage et de vérification de fichiers media. Aujourd’hui nous tirons le bénéfice de la consolidation de nos nombreux îlots NAS en un point central de stockage hautement disponible.»

Liens :

http://www.cmc-video.fr/

http://www.isilon.com