AWS

AWS s'explique sur sa panne géante du 25 novembre 2020

Soumis par fredericmazue le

En milieu de semaine dernière, le cloud d'AWS a connu une panne géante. Une panne qui s'est répercutée sur des milliers de services en ligne. Paradoxalement, c'est en augmentant la capacité de son système qu'AWS a provoqué la panne

AWS a publié un long et très intéressant billet décrivant les événements en détail. En résumé, AWS a voulu augmenter les capacités de son service Kinesis, un produit AWS pour agréger et analyser de grandes quantités de données en temps réel. Ce service fonctionne avec de nombreux serveurs en arrière-plan ou backend. Les flux de travail sont répartis vers ces serveurs par une flotte de serveurs frontaux, ou front-end.

AWS a augmenté le nombre des serveurs de cette flotte frontale. Or les serveurs de cette flotte communiquent entre eux au moyen de threads systèmes instanciés sur le système d'exploitation des machines. Chaque fois qu'un serveur est ajouté à cette flotte, les serveurs déjà présents établissent des threads pour communiquer avec le nouveau venu.

Dans le cas présent, l'augmentation du nombre de serveurs a fait que le nombre de threads devant être instanciés a dépassé les capacités des systèmes d'exploitation. Des capacités établies par configuration. La procédure des serveurs se reconnaissant entre eux dure environ une heure. Au cours de cette heure les serveurs se sont retrouvés avec des données corrompues à cause de cette limitation, cette corruption empêchant une transmission correcte des flux de travail vers le backend. D'où une répercussion en cascade sur toute l'infrastructure.

Dans son billet Amazon tire des conclusions afin d'éviter que le problème se reproduise. Par exemple, AWS explique : "A très court terme, nous passerons à des serveurs de CPU et de mémoire plus grands, réduisant ainsi le nombre total de serveurs et, par conséquent, les threads requis par chaque serveur pour communiquer à travers le parc. Cela fournira une marge de manœuvre significative dans le nombre de threads utilisé car le nombre total de threads que chaque serveur doit maintenir est directement proportionnel au nombre de serveurs de la flotte. Avoir moins de serveurs signifie que chaque serveur gère moins de threads. Nous ajoutons des alarmes à grain fin pour la consommation de threads dans le service. Nous finirons également de tester une augmentation des limites de nombre de threads dans la configuration de notre système d'exploitation, ce qui, selon nous, nous donnera beaucoup plus de threads par serveur et nous donnera également une marge de sécurité supplémentaire significative. En plus, nous apportons un certain nombre de changements pour améliorer radicalement le temps de démarrage à froid de la flotte frontale."

Un billet très intéressant à lire si l'on veut avoir une idée du fonctionnement d'une architecture cloud.

Source : AWS

Panne géante pour AWS

Soumis par admin le
Image

Le fait qu'AWS utilise langage Rust pour mettre en place des services cloud fiables, ainsi que nous vous le rapportions aujourd'hui, ne l'empêche malgré tout pas totalement de rencontrer des problèmes. En l'occurrence AWS a connu une panne majeure ce même jour...

La quasi-totalité des principales applications logicielles basées sur le cloud qui dépendent d'AWS pour leur backend ont été touchées, et la panne s'est répercutée sur des milliers d'autres services en ligne : Ring, Prime Music, Pokemon Go, Roku, MeetUp.com, League of Legends, Anchestry.com, Chime, etc... Même la page d'état d'Amazon ne pouvait plus être mise à jour correctement, hormis un petit message en haut de la page.

Le coeur du problème se situait dans AWS Kinesis, un produit AWS pour agréger et analyser de grandes quantités de données en temps réel. Ce problème dans Kinesis a engendré des problèmes internes à l'entreprise qui se sont répercutés en cascade sur 27 autres produits AWS.

Le problème a été résolu en début d'après-midi ce jeudi. Sur sa page d'état, AWS déclare avoir identifié les causes de la panne et avoir pris des mesures afin qu'elle ne se reproduise pas.

Amazon MQ prend en charge RabbitMQ

Soumis par fredericmazue le
Image
Image

Amazon MQ est un service d'agent de messages géré pour Apache ActiveMQ. Les agents de messages permettent à différents systèmes logiciels, à l'aide souvent de langages de programmation différents, et sur différentes plateformes, de communiquer et d'échanger des informations. Amazon MQ utilise des API et des protocoles de messagerie conformes aux normes sectorielles, notamment JMS, NMS, AMQP, STOMP, MQTT et WebSocket.

Amazon MQ prend désormais en charge un courtier (broker) de messages supplémentaire : RabbitMQ.

Un courtier de messages RabbitMQ se crée dans AWS via la console Amazon MQ, l'interface de ligne de commande (CLI) ou le SDK. L'instance de courtier de messages RabbitMQ offre une prise en charge native du protocole AMQP 0.9.1 et offre des bibliothèques clientes pour notamment .NET, node.js, Python et Ruby.

Amazon Web Services se tourne vers l'espace

Soumis par admin le

Amazon Web Services (AWS) a annoncé son entrée dans l’industrie spatiale afin de participer à l'accélération de l'innovation. La division « Aerospace and Satellite Solutions » apportera des services et des solutions AWS à l’industrie spatiale, et travaillera avec des clients et des partenaires du monde entier pour :

  • Réimaginer les architectures des systèmes spatiaux ;
  • Transformer les entreprises spatiales ;
  • Lancer de nouveaux services qui traitent les données spatiales sur Terre et en orbite ; et
  • Fournir des solutions de cloud computing sécurisées, flexibles, évolutives et rentables pour soutenir les missions gouvernementales et les entreprises qui font progresser l’industrie spatiale dans le monde entier.

AWS Ground Station est déjà utilisée par le Jet Propulsion Lab (JPL) de la NASA et par de nombreux autres clients.

Afin de comprendre aux mieux les missions de ses clients dans cette nouvelle industrie, AWS a choisi le général Clint Crosier, ancien directeur de la planification des forces spatiales de l'armée de l'air américaine, en tant que leader de ce nouveau secteur d'activité. Le Major Général Crosier a passé les 33 dernières années à conduire la transformation et le succès des missions dans l'entreprise spatiale, et a dirigé les efforts du Département de la Défense pour mettre en place le nouveau service militaire américain.

"Nous nous trouvons dans la période la plus excitante dans l'espace depuis les missions Apollo", a déclaré le major général Crosier. "J'ai vu AWS transformer l'industrie informatique au cours des dix dernières années et jouer un rôle déterminant dans de nombreux événements spatiaux. Je suis honoré de rejoindre AWS pour continuer à transformer l'industrie et propulser l'entreprise spatiale vers l'avant". 

Le programme Alexa Developer Rewards est désormais disponible en France

Soumis par fredericmazue le

Alexa est arrivée en France à l'été 2018, avec le Alexa Skills Kit (ASK) qui permet aux développeurs de concevoir facilement et gratuitement de nouvelles capacités ou d'ajouter leurs propres services à Alexa. Depuis, les développeurs français ont adopté la voix et généré une augmentation rapide du nombre de Skills Alexa en langue française, la sélection totale ayant plus que quadruplé depuis son lancement. Aujourd'hui, plus de 1 000 Skills locales sont à la disposition des clients français d’Alexa et des milliers de développeurs sont inscrits pour en créer encore plus.

AWS souligne que les développeurs font partie intégrante de la stratégie d'Amazon d’augmenter les capacités d’Alexa, et l'équipe ASK continue d'innover pour eux. Aujourd'hui, nous sommes heureux d'annoncer que le programme Alexa Developer Rewards est disponible en France, ce qui signifie que les développeurs peuvent être rémunérés pour développer les compétences Alexa éligibles que les clients utilisent le plus.

Chaque mois, les développeurs seront récompensés pour la création de Skills éligibles qui suscitent le plus d’engagement de la part des clients, dans toute une gamme de catégories. Les développeurs sélectionnés recevront bientôt des rétributions en fonction de l'engagement tout au long du mois de février. Les catégories de compétences éligibles comprennent :

  • Enseignement et éducation
  • Alimentation et gastronomie
  • Jeux, culture générale et accessoires
  • Enfants
  • Santé et bien-être
  • Lifestyle
  • Musique, radio et audio
  • Productivité

À ce jour, le programme Alexa Developer Rewards a permis de reverser des millions de dollars à des développeurs dans 23 pays. Si grâce à ce programme les développeurs peuvent gagner de l'argent, ils peuvent aussi en économiser grâce aux crédits promotionnels AWS.

Plus d'informations sur Alexa Developer Rewards sont disponibles ici.

Amazon ouvre Alexa aux développeurs

Soumis par fredericmazue le

Lors de sa grand'messe AWS Summit qui s'est tenue les 18 et 19 avril 2017, le géant Amazon a annoncé l'ouverture aux développeurs de Lex, la technologie d'intelligence artificielle qui est derrière l'assistant Alexa.

Les développeurs pourront donc concevoir des applications tels que des chatbots, capables de reconnaître la parole, de convertir un contenu oral en texte, de comprendre le langage naturel et de reconnaître l'intention du texte, selon Amazon.

Les API sont documentées sur un site dédié qui propose des guides de démarrage, des exemples de chatbots et des guides de déploiements des chatbots.

En tant que service cloud, Lex est payant à l'usage, en l'occurrence pour chaque requête : 0,0004 dollars pour une requête vocale, 0,00075 dollars pour une requête texte.

Pour l'instant le service n'est disponible qu'en Amérique du Nord, mais Amazon devrait étendre sa disponibilité rapidement.

[video:https://www.youtube.com/watch?v=ZdeK8HnhKQ8 autoplay:0]

Amazon GameLift supporte désormais n'importe quel moteur de jeu C++ ou C

Soumis par fredericmazue le

AWS annonce qu'Amazon GameLift prend désormais en charge les jeux construits avec n'importe quel moteur de jeu C++ ou C#, dont Lumberyard, Unreal Engine, ainsi que les moteurs de jeu développés spécifiquement.

AWS précise qu'Amazone GameLift est de plus doté d'une nouvelle fonctionnalité intelligente qui sélectionne automatiquement le serveur le plus proche du joueur géographiquement, afin de réduire les temps de latence. La réduction des temps de latence est un souhait fréquemment formulé par les joueurs en réseau, souligne AWS.

AWS lance l'AWS Academy

Soumis par fredericmazue le

Amazon Web Services (AWS) annonce le lancement de l’AWS Academy, un nouveau programme éducatif qui apporte aux universités, écoles techniques et organisations à but non-lucratif le savoir-faire d’AWS et vise à aider les étudiants à développer leurs compétences en cloud computing et à les préparer à l’AWS Certification.

Alors que la demande de produits et services AWS est toujours plus forte, les organisations cherchent des personnes disposant de compétences en cloud computing pour les accompagner lors de leur transition vers le cloud et rentabiliser leur investissement. AWS Academy vise à alimenter le marché avec une main-d’œuvre qualifiée, composée de professionnels et évangélistes AWS compétents et certifiés.

Avantages du programme :

Les institutions et formateurs membres de l’AWS Academy bénéficieront des avantages exclusifs suivants :

  • Un programme complet et prêt à être enseigné tout au long d’un semestre, développé et alimenté par AWS.
  • Une formation AWS gratuite pour les formateurs dans le cadre de l’accréditation instructeur AWS Academy.
  • Des réductions pour les examens d’AWS Certification.

Qui peut participer :

Les établissements d’enseignements dans les zones éligibles peuvent soumettre leur candidature à ce programme. Pour plus d’informations, rendez-vous sur la page de l’AWS Academy.

Amazon Web Services : des nouvelles fonctionnalités pour les développeurs d’applications Mobile

Soumis par fredericmazue le

Lors de l’AWS Summit qui s'est tenu hier à New-York, Amazon Web Services a présenté de nouvelles fonctionnalités à destination des développeurs d’applications Mobile, conçues pour faciliter la création, le déploiement et la mise à l’échelle d’applications Mobile.

Amazon Cognito est un service qui, grâce à la synchronisation de l’identité de l’utilisateur et des données, permet aux développeurs de créer des applications capables d’authentifier les utilisateurs par le biais des points de connexions publics les plus répandus.

Amazon Mobile Analytics permet aux développeurs de collecter et d’analyser facilement les données d’utilisation des applications,  soit des milliards d’informations en provenance de millions d’utilisateurs chaque jour.

AWS Mobile SDK permet de connecter les applications aux services AWS. Ainsi, les développeurs iOS, Android et Fire OS peuvent accéder aux nouveaux services Amazon Cognito et Amazon Mobile Analytics ainsi qu’à d’autres services tels d'AWS comme Amazon S3 ou Amazon DynamoDB.

Amazon AppStream : un hybride PaaS - IaaS

Soumis par francoistonic le
Image

Amazon Web Services propose avec son nouveau service AppStream, une approche originale pour déployer et exécuter des applications natives sans faire une migration spécifique sur une plate-forme PaaS, ni passer par de la machine virtuelle. AppStream se propose de reprendre l'idée du streaming vidéo pour streamer des applications.

Le principe est assez simple : on prend une application Windows, on incorpore les API et le kit de développement AppStream, on recompile pour créer une package applicatif dédié AppStream. Puis on déploie sur le service cloud. Pour l'utilisateur, l'application est accessible depuis une application cliente pour se connecter à votre application. On profite des processeurs, de la GPU et le service est multi-système, multi-terminal. Ce stream applicatif utilise le H.264, format vidéo standard. Comme lui, AppStream s'adapte aux contraintes réseaux de l'utilisateur. En réalité, AppStream n'utilise pas H.264 directement, le service s'appuie sur un protocole qui lui est propre : STX. "Le protocole STX d'Amazon AppStream est un protocole propriétaire utilisé pour diffuser en continu des vidéos d'application de haute qualité, quelle que soit la qualité de la connexion. Il diffuse le contenu vidéo et audio encodé à l'aide de la norme H.264 via la couche transport UDP. Le protocole capture également les données d'entrée des utilisateurs et les envoie via TCP vers l'application diffusée en continue depuis le cloud. Tout au long de ce processus, l'état du réseau fait l'objet d'un suivi continu, et ces mesures sont envoyées à l'encodeur se trouvant sur le serveur. Celui-ci réagit de manière dynamique en modifiant l'encodage vidéo et audio en temps réel afin de fournir un flux de haute qualité, adapté à un large éventail d'applications et de facteurs affectant le réseau." dixt Amazon. Les instances des applications fonctionnent sur Amazon EC2.

Actuellement, seules les applications Windows (compatibles Windows Server 2008 r2 : AppStream fonctionne sur Windows Server) écrites en C++ fonctionnent et si elles sont 64 bits. Théoriquement, des applications C# ou VB (.Net) peuvent être compatibles en utilisant le SDK C++ AppStream (en utilisant du code C++ dans le code non C++). Pour le moment, les applications OS X / Linux ne fonctionnent pas. 

Un des scénarios évoqués est d'utiliser AppStream pour les rendus 3D (de jeux), les simulations gourmandes en GPU, etc. 

AppStream est un service tout compris : instance, cache, CDN. Par contre, actuellement, il faut rester connecter pour pouvoir utiliser l'application, le mode déconnecté n'est pas disponible. Aucun SLA n'est fourni par Amazon mais la latence annoncée est faible (- 100 ms). "La latence est le temps nécessaire à votre application pour réagir à une action de l'utilisateur, comme un clic de souris, une pression sur une touche ou une interaction tactile. La manière de percevoir la latence varie selon les personnes et le type d'application utilisé. Par exemple, les applications impliquant peu d'interactions avec l'utilisateur ou ne s'actualisant que rarement peuvent être utilisées avec un temps de latence plus important que les applications qui réagissent en permanence aux actions de l'utilisateur, comme les jeux de course automobile. Dans le cas d'une application hébergée sur Amazon AppStream, le service n'ajoute qu'une faible latence liée au processus de capture et d'encodage du flux vidéo, qui est par ailleurs optimisé de manière à garantir une latence minimale. De plus, le protocole STX et le processus d'encodage d'AppStream ont été configurés afin de minimiser la latence, même lorsque certains facteurs viennent affecter l'état du réseau." précise Amazon.

La facturation se fait à la seconde et revient à 0,83 $ / heure. 20 heures sont offertes ! Le service est disponible en région USA Est. Quand d'autres régions seront ouvertes, AppStream choisira automatiquement la région la plus proche de l'utilisation. 

Le monitoring se fait dans CloudWatch. La supervision et le tuning sont deux fonctions importantes qu'Amazon devra proposer.

Pour le développeur, deux SDK sont à intégrer : 

- SDK C++

- SDK Java pour le spash screen, la gestion de la licence, l'autorisation d'accès à l'application.

Notre avis  : AppStream est une approche originale qui peut trouver une réelle place sur le marché. Aujourd'hui, pour "porter" des applications natives, les possibilités ne sont pas toujours rentables ou trop lourdes à réaliser. Si AppStream réussit à s'étendre et à supporter d'autres langages et systèmes, la plate-forme hybride PaaS - IaaS pourrait être une solution d'avenir. Reste aussi à intégrer les applications streamées dans la marketplace. Et le modèle économique reste à préciser. 

site : http://aws.amazon.com/fr/appstream/

François Tonic cloudmagazine.fr