Base de données distribuée

Paypal ouvre le code de JunoDB

Soumis par fredericmazue le

Paypal a annoncé l'ouverture du code d'un de ses outils maisons : JunoDB. JunoDB est un magasin clé-valeur distribué sur lequel s'appuient tous les services de back-end de Paypal. Avec JunoDB, les applications peuvent stocker et mettre en cache efficacement les données pour un accès rapide et une réduction de la charge sur les bases de données relationnelles et d'autres services. Le stockage persistant est réalisé à l'aide de RockDB.

A ses débuts, JunoDB était un programme C++ à un seul thread, mais il a depuis été réécrit en Golang pour être hautement simultané et compatible avec plusieurs cœurs. JunoDB est également passé d'un magasin de données TTL (Time To Live) court en mémoire à un magasin de données persistant qui prend en charge les TTL longs, offrant une sécurité des données améliorée via le chiffrement sur disque et TLS en transit par défaut. Le parcours de JunoDB a également impliqué une mise à l'échelle rapide grâce à la redistribution des données, ce qui lui a permis de gérer le volume sans cesse croissant de demandes.Chez Paypal,  un grand cluster JunoDB peut comprendre plus de 200 nœuds de stockage, traitant plus de 100 milliards de requêtes par jour.L'architecture JunoDB a une conception basée sur un proxy qui permet une mise à l'échelle linéaire des connexions horizontales et simplifie le processus de développement en supprimant la complexité de la bibliothèque cliente et en gardant la logique et la configuration complexes hors des applications. JunoDB utilise un hachage cohérent pour partitionner les données et minimiser le mouvement des données lorsque les clusters sont étendus ou réduits. Pour atteindre zéro temps d'arrêt, JunoDB utilise la réplication intra-centre de données et entre centres de données, et il assure la cohérence des données avec un protocole basé sur un quorum et une validation en deux phases.

JunoDB est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.

Microsoft annonce la disponibilité de Azure Cosmos DB pour PostgreSQL

Soumis par fredericmazue le

Lors de sa conférence Ignite 2022, Microsoft a annoncé la disponibilité générale de Azure Cosmos DB pour PostgreSQL.

Azure Cosmos DB pour PostgreSQL est un service géré pour PostgreSQL qui utilise l'extension open source Citus pour PostgreSQL. Citus transforme PostgreSQL en une base de données distribuée, pour assurer des performances élevées à n'importe quelle échelle. Notamment les tables distribuées sont réparties sur un cluster de nœuds PostgreSQL pour combiner leur CPU, leur mémoire, leur stockage et leur capacité d'E/S et les tables de références sont répliquées sur tous les nœuds pour les jointures et les clés étrangères des tables distribuées et des performances de lecture maximales.

Avec Azure Cosmos DB pour PostgreSQL vous pouvez commencer à créer des applications sur un cluster à nœud unique, de la même manière que vous le feriez avec PostgreSQL. À mesure que les exigences d'évolutivité et de performances de votre application augmentent, vous pouvez évoluer de manière transparente vers plusieurs nœuds en distribuant vos tables de manière transparente.

Site : learn.microsoft.com/en-us/azure/cosmos-db/postgresql/introduction

YDB : une base de données open source SQL distribuée

Soumis par fredericmazue le

YDB est conçu à partir de zéro pour répondre à la demande croissante de services Web interactifs évolutifs. Selon ses concepteurs, l'évolutivité, la cohérence stricte et les transactions interlignes efficaces étaient indispensables pour une telle charge de travail de type OLTP. YDB est construit par des personnes ayant une solide expérience dans les bases de données et les systèmes distribués, qui ont eu une expérience dans le développement de bases de données No-SQL et du système Map-Reduce pour l'un des plus grands moteurs de recherche au monde.  Les concepteurs de YDB assurent que la conception flexible de YDB leur permet de créer davantage de services, notamment des files d'attente persistantes et des périphériques de bloc virtuels.

Fonctionnalités de base de YDB :

  • Configuration tolérante aux pannes qui résiste aux pannes de disque, de nœud, de rack ou même de centre de données ;
  • Évolutivité horizontale ;
  • Reprise après sinistre automatique avec interruptions de latence minimales pour les applications ;
  • Dialecte SQL (YQL) pour la manipulation de données et la définition de schéma ;
  • Transactions ACID sur plusieurs nœuds et tables avec une cohérence stricte.

YDB est évolutive, offrant aux développeurs la possibilité d'étendre simplement le cluster avec des ressources de calcul ou de stockage pour gérer une charge croissante. YDB dispose de couches de stockage et de calcul désagrégées qui vous permettent de faire évoluer les ressources de stockage et de calcul indépendamment.

Il existe des installations de production comptant plus de 10 000 nœuds, qui stockent des pétaoctets de données et gèrent des millions de transactions distribuées par seconde.

YDB a un support de récupération automatique intégré pour survivre à une panne matérielle. Après une panne imprévisible de disque, de nœud, de rack ou même de centre de données, YDB reste entièrement disponible pour les lectures et les écritures et restaure automatiquement la redondance des données requises.

YDB prend en charge les configurations mutualisées et sans serveur. Un utilisateur peut exécuter un cluster YDB et créer plusieurs bases de données qui partagent un pool de stockage et ont différents nœuds de calcul. Un utilisateur peut également exécuter plusieurs bases de données sans serveur qui partagent un pool de ressources de calcul pour les utiliser efficacement.

YDB fonctionne sur des plates-formes x86 64 bits avec un minimum de 8 Go de RAM.

Les concepteurs de YDB l'utilisent sur Ubuntu Linux, mais indiquent, qu'à des fins de développement,  ils testent que YDB peut être construit et exécuté régulièrement sous les dernières versions de MacOS et Microsoft Windows.

YDB dispose d'un site officiel : ydb.tech

YDB est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.