PostgreSQL

Microsoft annonce la disponibilité de Azure Cosmos DB pour PostgreSQL

Soumis par fredericmazue le

Lors de sa conférence Ignite 2022, Microsoft a annoncé la disponibilité générale de Azure Cosmos DB pour PostgreSQL.

Azure Cosmos DB pour PostgreSQL est un service géré pour PostgreSQL qui utilise l'extension open source Citus pour PostgreSQL. Citus transforme PostgreSQL en une base de données distribuée, pour assurer des performances élevées à n'importe quelle échelle. Notamment les tables distribuées sont réparties sur un cluster de nœuds PostgreSQL pour combiner leur CPU, leur mémoire, leur stockage et leur capacité d'E/S et les tables de références sont répliquées sur tous les nœuds pour les jointures et les clés étrangères des tables distribuées et des performances de lecture maximales.

Avec Azure Cosmos DB pour PostgreSQL vous pouvez commencer à créer des applications sur un cluster à nœud unique, de la même manière que vous le feriez avec PostgreSQL. À mesure que les exigences d'évolutivité et de performances de votre application augmentent, vous pouvez évoluer de manière transparente vers plusieurs nœuds en distribuant vos tables de manière transparente.

Site : learn.microsoft.com/en-us/azure/cosmos-db/postgresql/introduction

PostgreSQL 15 est disponible

Soumis par fredericmazue le

Le PostgreSQL Global Development Group a annoncé  la sortie de PostgreSQL 15, la dernière version de cette célèbre base de données open source libre.

PostgreSQL 15 s'appuie sur les améliorations de performances des versions récentes avec des gains notables pour la gestion des charges de travail dans les déploiements locaux et distribués, y compris un tri amélioré. Cette version améliore l'expérience du développeur avec l'ajout de la commande populaire MERGE et ajoute plus de fonctionnalités pour observer l'état de la base de données.

"La communauté des développeurs PostgreSQL continue de créer des fonctionnalités qui simplifient l'exécution des charges de travail de données hautes performances tout en améliorant l'expérience des développeurs", a déclaré Jonathan Katz, membre de l'équipe PostgreSQL Core. "PostgreSQL 15 montre comment, grâce au développement de logiciels ouverts, nous pouvons fournir à nos utilisateurs une base de données idéale pour le développement d'applications et sûre pour leurs données critiques."

Amélioration des performances de tri et de la compression

Dans cette dernière version, PostgreSQL améliore ses algorithmes de tri en mémoire et sur disque, avec des benchmarks montrant des accélérations de 25 % à 400 % en fonction des types de données triés. L'utilisation de row_number(), rank(), dense_rank() et count() comme fonctions de fenêtre présente également des avantages en termes de performances dans PostgreSQL 15. Les requêtes utilisant SELECT DISTINCT peuvent désormais être exécutées en parallèle.

S'appuyant sur le travail de la version précédente de PostgreSQL pour autoriser les requêtes distantes asynchrones, le wrapper de données étrangères PostgreSQL, postgres_fdw, prend désormais en charge les commits asynchrones.

Les améliorations de performances de PostgreSQL 15 s'étendent à ses fonctions d'archivage et de sauvegarde. PostgreSQL 15 ajoute la prise en charge de la compression LZ4 et Zstandard (zstd) aux fichiers journaux à écriture anticipée (WAL), ce qui peut présenter des avantages à la fois en termes d'espace et de performances pour certaines charges de travail. Sur certains systèmes d'exploitation, PostgreSQL 15 ajoute la prise en charge des pages de prélecture référencées dans WAL pour accélérer les temps de récupération. La commande de sauvegarde intégrée de PostgreSQL, pg_basebackup, prend désormais en charge la compression côté serveur des fichiers de sauvegarde avec un choix entre gzip, LZ4 et zstd. PostgreSQL 15 inclut la possibilité d'utiliser des modules personnalisés pour l'archivage, ce qui élimine la surcharge liée à l'utilisation d'une commande shell.

Fonctionnalités de développement expressives

PostgreSQL 15 inclut la commande SQL standard MERGE. MERGE vous permet d'écrire des instructions SQL conditionnelles pouvant inclure des actions INSERT, UPDATE et DELETE dans une seule instruction.

Cette dernière version ajoute de nouvelles fonctions permettant d'utiliser des expressions régulières pour inspecter les chaînes : regexp_count(), regexp_instr(), regexp_like() et regexp_substr(). PostgreSQL 15 étend également la fonction range_agg pour agréger les types de données multi-gammes, qui ont été introduits dans la version précédente.

PostgreSQL 15 permet aux utilisateurs de créer des vues qui interrogent les données en utilisant les autorisations de l'appelant, et non du créateur de la vue. Cette option, appelée security_invoker, ajoute une couche de protection supplémentaire pour garantir que les appelants de vue disposent des autorisations appropriées pour travailler avec les données sous-jacentes.

Plus d'options pour la réplication logique

PostgreSQL 15 offre plus de flexibilité pour gérer la réplication logique. Cette version introduit le filtrage des lignes et des listes de colonnes pour les éditeurs, permettant aux utilisateurs de choisir de répliquer un sous-ensemble de données à partir d'une table. PostgreSQL 15 ajoute des fonctionnalités pour simplifier la gestion des conflits, notamment la possibilité d'ignorer la relecture d'une transaction en conflit et de désactiver automatiquement un abonnement si une erreur est détectée. Cette version inclut également la prise en charge de l'utilisation de la validation en deux phases (2PC) avec réplication logique.

Améliorations de la journalisation et de la configuration

PostgreSQL 15 introduit un nouveau format de journalisation : jsonlog. Ce nouveau format génère des données de journal à l'aide d'une structure JSON définie, ce qui permet de traiter les journaux PostgreSQL dans des systèmes de journalisation structurés.

Cette version donne aux administrateurs de base de données plus de flexibilité dans la façon dont les utilisateurs peuvent gérer la configuration de PostgreSQL, ajoutant la possibilité d'accorder aux utilisateurs l'autorisation de modifier les paramètres de configuration au niveau du serveur. De plus, les utilisateurs peuvent désormais rechercher des informations sur la configuration à l'aide de la commande \dconfig de l'outil de ligne de commande psql.

Autres changements notables

Les statistiques au niveau du serveur PostgreSQL sont désormais collectées dans la mémoire partagée, éliminant à la fois le processus de collecte de statistiques et l'écriture périodique de ces données sur le disque.

PostgreSQL 15 permet de faire d'un classement ICU le classement par défaut pour un cluster ou une base de données individuelle.

Cette version ajoute également une nouvelle extension intégrée, pg_walinspect, qui permet aux utilisateurs d'inspecter le contenu des fichiers journaux à écriture anticipée directement à partir d'une interface SQL.

PostgreSQL 15 révoque également l'autorisation CREATE de tous les utilisateurs, à l'exception d'un propriétaire de base de données du schéma public (ou par défaut).

PostgreSQL 15 supprime à la fois le mode "sauvegarde exclusive" obsolète depuis longtemps et la prise en charge de Python 2 de PL/Python.

PostgreSQL 15 RC1

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce que la première version candidate de PostgreSQL 15 est désormais disponible en téléchargement. En tant que version candidate, PostgreSQL 15 RC 1 sera essentiellement identique à la version initiale de PostgreSQL 15, bien que d'autres correctifs puissent être appliqués avant la disponibilité générale de PostgreSQL 15.

La date prévue pour la disponibilité générale de PostgreSQL 15 est le 13 octobre 2022. Plusieurs correctifs de bogues ont été appliqués pour PostgreSQL 15 pendant la période bêta 4, et des modifications ont été apportées, parmi lesquelles :

  • La syntaxe de publication de toutes les tables d'un schéma à l'aide de la réplication logique est modifiée en CREATE PUBLICATION ... FOR TABLES IN SCHEMA ... .
  • Les publications de réplication logique peuvent désormais publier des tables qui se trouvent dans un schéma si le schéma et la table sont spécifiés.
  • La publication d'un schéma si une table avec des listes de colonnes est spécifiée, n'est plus permise.

PostgreSQL Anonymizer 1.1

Soumis par fredericmazue le

PostgreSQL Anonymizer  est une extension du Système de Gestion de Bases de Données open source PostgreSQL permettant de masquer ou de remplacer des informations personnellement identifiables (PII) ou des données commercialement sensibles au sein d’une base de données.

PostgreSQL Anonymizer s’appuie sur une approche déclarative de l’anonymisation : le langage de définition de données (DDL) de PostgreSQL est utilisé afin de spécifier la stratégie d’anonymisation à l’intérieur de la définition de la table elle-même.

L'extension prend en charge 3 stratégies d'anonymisation différentes : le masquage dynamique, le masquage statique et les vidages anonymes. Il offre également un large choix de fonctions de masquage telles que la substitution, la randomisation, la simulation, la pseudonymisation, le brouillage partiel, le mélange, l'ajout de bruit et la généralisation.

PostgreSQL Anonymizer fait partie de l'initiative Dalibo Labs. Il est principalement développé par Damien Clochard. Le projet est ouvert, les contributions sont les bienvenues. PostgreSQL Anonymizer est un logiciel libre sous licence PostgreSQL, disponible sur GitLab.

PostgreSQL Anonymizer vient de sortir en version 1.1.

Site : postgresql-anonymizer.readthedocs.io

PostgreSQL 15 Beta 4

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce que la quatrième version bêta de PostgreSQL 15 est désormais disponible en téléchargement. Cette version contient des aperçus de toutes les fonctionnalités qui seront disponibles lorsque PostgreSQL 15 sera généralement disponible, bien que certains détails de la version puissent changer pendant la période bêta, précise le PostgreSQL Global Development Group.

Les correctifs et modifications de PostgreSQL 15 Beta 4 incluent :

  • Les fonctionnalités SQL/JSON proposées pour cette version ont été supprimées.
  • Plus de plantages avec MERGE lorsqu'il est appelé à l'intérieur de COPY ou d'une expression de table commune (aka WITH query). Cop
  • Activation des déclencheurs d'événement table_rewrite pour ALTER MATERIALIZED VIEW.
  • Correction d'un crash dans CREATE DATABASE ... STRATEGY WAL_LOG.
  • Correction d'un crash avec un VACUUM parallèle.
  • Correction d'un problème avec la prélecture de récupération qui pouvait provoquer un plantage lors de la promotion en veille.

Correction du LSN renvoyé dans les rapports d'erreur des échecs de lecture WAL à partir de l'extension pg_walinspect.

PostgreSQL 15 Bêta 2

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce que la deuxième version bêta de PostgreSQL 15 est désormais disponible en téléchargement. Cette version contient des aperçus de toutes les fonctionnalités qui seront disponibles lorsque PostgreSQL 15 sera généralement disponible, bien que certains détails de la version puissent changer pendant la période bêta.

En dehors des correctifs de bugs apportés par cette version, on notera que les colonnes de sortie JSON_TABLE utilisent désormais les collations de leur type de données et que string est maintenant un mot-clé non réservé.

Odyssey 1.3

Soumis par fredericmazue le

Odssey est un gestionnaire de connexions (pooler) multi threads évolutif pour PostgreSQL\GreenplumDB, conçu pour le cloud.

Grâce au traitement multi threads, Odyssey peut faire évoluer considérablement les performances de traitement en spécifiant un certain nombre de threads de travail supplémentaires. Chaque thread de travail est responsable de l'authentification et du proxy des requêtes client-serveur et serveur-client. Tous les threads de travail partagent des pools de connexion de serveur globaux. La conception multi thread joue un rôle important dans les performances SSL/TLS, souligne l'équipe d'Odyssey.

Odyssey permet de définir des pools de connexions comme une paires de 'Database' et 'User'. Chaque pool défini peut avoir des paramètres d'authentification, des modes de pooling et des limites distincts.

L'équipe Odyssey a annoncé la sortie d'Odyssey 1.3

Odyssey est un logiciel libre sous licence BSD 3, disponible sur GitHub.

PGSpider extension 1.0

Soumis par fredericmazue le

PGSpider extension  (pgspider_ext) est une extension pour PostgreSQL permettant de construire un moteur de cluster SQL haute performance pour le Big Data distribué. pgspider_ext permet à PostgreSQL d'accéder à un certain nombre de sources de données à l'aide de Foreign Data Wrapper (FDW) et de récupérer verticalement la source de données distribuée.

Les caractéristiques principales sont : 

  • Table partitionnée de nœuds : L'utilisateur peut facilement obtenir des enregistrements dans plusieurs tables sur certaines sources de données par un SQL. S'il existe des tables avec un schéma similaire dans chaque source de données, PGSpider peut les afficher comme une seule table virtuelle.
  • Traitement parallèle:  PGSpider exécute les requêtes et récupère les résultats des nœuds enfants en parallèle. PGSpider développe une table virtuelle en tables enfants, accède à la source de données correspondante de chaque table enfant sur certains processus de travail.
  • Pushdown : PGSpider peut appliquer la clause WHERE et les fonctions d'agrégation aux sources de données. L'expédition dépend de la source de données FDW.

PGSpider extension  est développé par Toshiba Software Engineering & Technology Center.

PGSpider extension  est un logiciel libre disponible sur GitHub.

PostgreSQL 14.4

Soumis par fredericmazue le

Le PostgreSQL Global Development Group a publié PostgreSQL 14.4. Cette version vient résoudre un problème pouvant entraîner une corruption silencieuse des données lors de l'utilisation des commandes CREATE INDEX CONCURRENTLY ou REINDEX CONCURRENTLY.

Cette version corrige également plus de 15 bogues depuis la sortie de PostgreSQL 14.3 en mai. Voir la note de version pour plus d'informations.

Il est important de noter que cette version est uniquement pour PostgreSQL 14. Le PostgreSQL Global Development Group publiera une mise à jour programmée le 11 août 2022 pour toutes les versions prises en charge de PostgreSQL (10 - 14).

Pour l'occasion, le PostgreSQL Global Development Group rappelle que PostgreSQL 10 cessera de recevoir des correctifs le 10 novembre 2022. Si vous exécutez PostgreSQL 10 dans un environnement de production, le PostgreSQL Global Development Group  vous suggère vivement de planifier une mise à niveau vers une version plus récente et prise en charge de PostgreSQL.

pgCluu 3.3

Soumis par fredericmazue le

pgCluu est un programme Perl utilisé pour effectuer un audit complet des performances d'un cluster PostgreSQL. Il est divisé en deux parties  un collecteur utilisé pour récupérer les statistiques sur le serveur PostgreSQL en utilisant psql et sar, et un générateur de rapports qui générera toutes les sorties HTML et graphiques. L'objectif de ce projet est de fournir un outil d'audit PostgreSQL complet qui ne nécessite aucune dépendance pour être exécuté facilement pour auditer un serveur local ou distant.

pgCluu 3.3 est une version de maintenance qui corrige les problèmes signalés par les utilisateurs depuis neuf mois. Il ajoute également de nouveaux rapports et fonctionnalités.

  • Ajoute de rapports d'utilisation TCP et d'erreurs TCP, à partir de sar -nTCP,ETCP.
  • Ajout d'un commentaire dans l'index suggéré si celui-ci peut être redondant avec ceux qui existent déjà.
  • Ajout du support pour exécuter pgcluu_collect en tant qu'utilisateur avec le rôle pg_monitor.

pgCluu est une collection d'outils publiés sous la licence PostgreSQL.

Site :  pgcluu.darold.net