PostgreSQL

PostgreSQL Anonymizer 1.0

Soumis par fredericmazue le

Dalibo annonce la version 1.0 de l’extension PostgreSQL Anonymizer. Il s’agit d’une extension du Système de Gestion de Bases de Données open source PostgreSQL permettant de masquer ou de remplacer des informations personnellement identifiables (PII) ou des données commercialement sensibles au sein d’une base de données. L’extension fournit un panel de techniques de masquage en fonction des besoins : randomisation, ajout de bruit, contrefaçon, destruction partielle, pseudonymisation, généralisation, etc.

PostgreSQL Anonymizer s’appuie sur une approche déclarative de l’anonymisation : le langage de définition de données (DDL) de PostgreSQL est utilisé afin de spécifier la stratégie d’anonymisation à l’intérieur de la définition de la table elle-même.

Dalibo souligne que la majorité des outils d’anonymisation actuels fonctionnent à l’extérieur de la base de données, sur le principe des outils ETL (Extract-Transform-Load). Il en résulte que la responsabilité de la rédaction de la politique de sécurité est généralement confiée aux DBA (administrateurs de bases de données) de production. Ces outils se focalisent donc sur la phase de traitement des données plutôt que sur la phase de détermination de ces traitements. A l’inverse, l’extension PostgreSQL Anonymizer cherche à impliquer les développeurs et les architectes dès les phases préliminaires de conception. Grâce à une syntaxe SQL appelée « SECURITY LABEL», les règles de masquage sont déclarées directement à l’intérieur même de la base, au même titre qu’une contrainte d’intégrité ou d’un index.

PostgreSQL Anonymizer a été développé dans le cadre de l’initiative Dalibo Labs. Consciente de l’importance de fournir des contributions de qualité et en quantité pour PostgreSQL et sa communauté, Dalibo encourage en effet tous ses employés à consacrer jusqu’à 20 % de leur temps de travail à des activités communautaires : écriture ou relecture de code, mais aussi rédaction d’articles, organisation de conférences, etc. Dalibo Labs a pour objectif de promouvoir les projets open source développés en interne. Une fois que ces projets grandissent et trouvent leur propre communauté, la propriété en est généralement transférée à des groupes de développeurs indépendants.

PostgreSQL Anonymizer est un logiciel libre sous licence PostgreSQL, disponible sur GitLab. PostgreSQL Anonymizer est documenté ici. 

 

PostgreSQL JDBC 42.3.6 corrige un bug de régression

Soumis par fredericmazue le

L'équipe JDBC de PostgreSQL a publié PostgreSQL JDBC en version 42.3.6 pour corriger une régression introduite dans la version 42.3.2.

Le correctif remédie au problème "cursor <unnamed portal 1> does not exist" lors de l'utilisation de ResultSet.setFetchSize de CallableStatement, corrigé dans 42.3.5. Plus d'informations dans ce billet sur GitHub.

Pgpool-II 4.3.2

Soumis par fredericmazue le

Pgpool-II est un outil pour ajouter des fonctionnalités utiles à PostgreSQL, notamment :

  • le regroupement de connexions
  • l'équilibrage de charge
  • le failover automatique

Le Pgpool Global Development Group a annoncé la disponibilité des versions suivantes de Pgpool-II :

  • 4.3.2
  • 4.2.9
  • 4.1.12
  • 4.0.19
  • 3.7.24

Dans Pgpool II 4.3.2 deux améliorations sont à remarquer.

Tout d'abord, l'amélioration de l'arrêt du processus principal de pgpool. Désormais, si "pgpool stop" n'a pas pu terminer le processus principal dans un certain délai (actuellement 5 secondes), le signal est automatiquement renvoyé.

Ensuite un correctif fait qu'une session n'est plus abandonné en cas d'échec d'une transaction.

pgpool.net

Pgmetrics 1.13

Soumis par fredericmazue le

Pgmetrics est un outil open source, sans dépendance et à un seul binaire qui peut collecter plus de 350 métriques à partir d'un serveur PostgreSQL en cours d'exécution et les afficher dans un format texte facile à lire ou les exporter au format JSON et CSV pour les scripts. Il prend également en charge la collecte à partir de divers services PostgreSQL gérés (AWS, Azure, GCP, Heroku) ainsi que de PgBouncer et Odyssey. Pgmetrics vient de sortir en version 1.13.

Les nouveautés apportées par cette version sont principalement :

  • Collecte des métriques à partir d'Azure Database pour PostgreSQL.
  • Collecte des informations de toutes les vues pg_stat_progress_*.
  • Plus d'informations incluses dans le rapport texte.
  • Une option pour omettre la requête bloat.
  • Prise en charge de l'ancienne version de l'extension pss dans la nouvelle version du serveur.
  • Inclusion l'ID de requête dans le plan auto_explain s'il est présent dans log_line_prefix.
  • Diverses corrections de bogues.

PostgreSQL 15 Beta 1

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce que la première version bêta de PostgreSQL 15 est désormais disponible en téléchargement. Cette version contient des aperçus de toutes les fonctionnalités qui seront disponibles lorsque PostgreSQL 15 sera généralement disponible, bien que certains détails de la version puissent changer pendant la période bêta Voici les points forts de PostgreSQL 15

Expérience développeur

PostgreSQL 15 ajoute de nouvelles fonctionnalités pour simplifier et améliorer l'expérience des développeurs.

Cette version introduit MERGE, une commande standard SQL pour l'exécution conditionnelle d'opérations d'écriture (INSERT, UPDATE ou DELETE) sur les données. Avant cette version, le même comportement pouvait être obtenu à l'aide de procédures stockées ou, de manière limitée, avec INSERT ... ON CONFLICT. Avec PostgreSQL 15, les développeurs peuvent écrire des requêtes simples et expressives pour choisir l'action de modification de données appropriée à entreprendre.

PostgreSQL a ajouté la prise en charge de JSON en 2012 dans le cadre de la version 9.2. La norme SQL/JSON, publiée cinq ans plus tard, spécifiait une variété d'interfaces pour accéder et manipuler les données JSON stockées dans des bases de données relationnelles. PostgreSQL 15 s'appuie sur sa prise en charge existante du langage de chemin SQL/JSON en incluant davantage de fonctions SQL/JSON standard. Ceux-ci incluent les constructeurs SQL/JSON, les fonctions de requête/introspection et la possibilité de convertir les données JSON en table.

PostgreSQL 15 ajoute plus de fonctions d'expression régulière, notamment regexp_count , regexp_instr, regexp_like et regexp_substr. La fonction range_agg, introduite dans PostgreSQL 15 pour agréger les types de données de plage en types multi-plages, prend désormais également en charge l'agrégation de types multi-plages.

Performance

PostgreSQL 15 continue de s'appuyer sur ses gains de performances au cours des dernières versions. Cette version inclut une accélération significative du tri des données lors du tri sur des ensembles de données plus volumineux. En particulier, il s'agit d'ensembles de données qui dépassent le paramètre work_mem.

Les gains de performances de PostgreSQL 15 s'étendent à une variété de types de requêtes. Cela inclut l'introduction de la parallélisation pour les instructions SELECT DISTINCT et l'amélioration des performances des fonctions de fenêtre qui utilisent row_number(), rank() et count(). Les applications qui utilisent le wrapper de données étrangères PostgreSQL postgres_fdw pour gérer les données sur des serveurs PostgreSQL distants peuvent désormais permettre aux transactions d'être validées en parallèle. Il existe également plusieurs améliorations de performances pour les requêtes impliquant des tables avec des partitions.

Le système PostgreSQL et les tables TOAST, utilisés pour stocker des données plus grandes qu'une seule page (8 Ko), peuvent désormais utiliser la déduplication d'index et bénéficier d'index plus petits et de recherches plus rapides.

La commande psql \copy, utilisée pour charger des données en bloc, a également des améliorations de performances dans PostgreSQL 15.

Sauvegardes, archivage et compression

S'appuyant sur la version précédente qui introduisait la compression LZ4, PostgreSQL 15 ajoute la prise en charge de la compression Zstandard (zstd) à divers composants.

pg_basebackup, un utilitaire utilisé pour effectuer des sauvegardes complètes d'un cluster PostgreSQL, prend désormais en charge la compression côté serveur à l'aide de la compression Gzip, LZ4 ou Zstandard. Le client pg_basebackup peut désormais également décompresser les sauvegardes qui utilisent la compression LZ4 et Zstandard.

Les fichiers journaux en écriture anticipée (WAL) peuvent désormais être compressés à l'aide de la compression LZ4 et Zstandard via le paramètre de configuration wal_compression. De plus, PostgreSQL 15 ajoute également l'option recovery_prefetch qui peut aider à accélérer les opérations de récupération en préchargeant les blocs de données. Cette version ajoute un nouveau module appelé pg_walinspect qui vous permet d'inspecter les informations sur les fichiers WAL directement à partir de SQL.

PostgreSQL 15 vous permet d'effectuer un archivage WAL sans exécuter de commande shell en spécifiant une archive_library. Un exemple de bibliothèque d'archivage WAL peut être trouvé dans le module basic_archive. De plus, les extensions peuvent désormais définir leurs propres gestionnaires de ressources WAL qui leur permettent de travailler avec la réplication logique.

Réplication logique

PostgreSQL 15 introduit à la fois le filtrage des lignes et le filtrage des colonnes pour la réplication logique. De plus, les utilisateurs peuvent désormais spécifier de manière pratique de publier toutes les tables d'un schéma, alors qu'auparavant, il n'était possible de le faire que pour toutes les tables d'une base de données.

Cette version ajoute également plus de support pour la gestion des conflits. Un abonné peut désormais spécifier disable_on_error pour arrêter automatiquement la réplication logique en cas d'erreur. PostgreSQL 15 permet d'ignorer l'application des modifications à l'aide de la commande ALTER SUBSCRIPTION ... SKIP.

Administration

PostgreSQL 15 introduit le format jsonlog pour la journalisation. Cela permet aux journaux PostgreSQL d'être consommés par de nombreux programmes qui effectuent une agrégation et une analyse structurées des journaux. PostgreSQL 15 enregistre désormais par défaut les points de contrôle et les opérations de vide automatique qui sont lentes.

Le client psql a maintenant une commande appelée \dconfig pour inspecter les valeurs des paramètres de configuration. Par défaut, \dconfig affiche tout paramètre de configuration qui n'est pas défini sur sa valeur par défaut.

PostgreSQL 15 stocke désormais toutes les statistiques au niveau du serveur dans la mémoire partagée. Le serveur n'exécute plus de processus de collecte de statistiques.

La commande ALTER TABLE peut désormais modifier la méthode d'accès (ACCESS METHOD) d'une table, qui est utilisée pour définir le système de stockage utilisé par la table.

Sécurité

PostgreSQL 15 introduit de nouvelles valeurs par défaut lorsque les bases de données sont créées dans un cluster PostgreSQL. Lorsqu'une nouvelle base de données est créée, les utilisateurs extérieurs au propriétaire de la base de données (représenté par pg_database_owner) et les superutilisateurs ne peuvent plus créer d'objets dans le schéma public par défaut.

PostgreSQL 15 ajoute la prise en charge des "vues de l'invocateur de sécurité", qui utilise les privilèges de l'utilisateur exécutant la requête au lieu de l'utilisateur qui a créé la vue.

Les utilisateurs non privilégiés dans PostgreSQL 15 peuvent désormais obtenir des privilèges pour modifier les variables du serveur via SET et ALTER SYSTEM.

postgresql.org/download

Des mises à jour pour PostgreSQL 14.3, 13.7, 12.11, 11.16, et 10.21

Soumis par fredericmazue le

Le PostgreSQL Global Development Group a publié une mise à jour de toutes les versions prises en charge de PostgreSQL, notamment 14.3, 13.7, 12.11, 11.16 et 10.21. Cette mise à jour corrige plus de 50 bogues signalés au cours des trois derniers mois, ainsi qu'une vulnérabilité de sécurité. Les utilisateurs sont encouragés à installer cette mise à jour dès que possible.

Il est à noter que si vous avez des index GiST sur des colonnes utilisant le type de données ltree, vous devrez les réindexer après la mise à niveau.

Enfin le PostgreSQL Global Development Group signale que PostgreSQL 10 cessera de recevoir des correctifs le 10 novembre 2022.

Apache AGE 1.0

Soumis par fredericmazue le

Apache AGE est une extension PostgreSQL qui fournit des fonctionnalités de base de données de graphes. AGE est l'acronyme de A Graph Extension et s'inspire du fork Bitnine de PostgreSQL 10, AgensGraph, qui est une base de données multimodèle. L'objectif du projet est de créer un stockage unique capable de gérer à la fois des données relationnelles et des modèles de graphes afin que les utilisateurs puissent utiliser le SQL ANSI standard avec openCypher, le langage de requête Graph.

Un graphe se compose d'un ensemble de sommets (également appelés nœuds) et d'arêtes, où chaque sommet et arête possède une carte de propriétés. Un sommet est l'objet de base d'un graphe, qui peut exister indépendamment de tout le reste du graphe. Une arête crée une connexion dirigée entre deux sommets. Une base de données de graphes est simplement composée de sommets et d'arêtes. Ce type de base de données est utile lorsque le sens réside dans les relations entre les données. Les bases de données relationnelles peuvent facilement gérer les relations directes, mais les relations indirectes sont plus difficiles à gérer dans les bases de données relationnelles. Une base de données de graphes stocke les informations de relation en tant qu'entité de première classe. Apache AGE vous offre le meilleur des deux mondes, simultanément.

Apache Age est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.

pgBadger v11.8

Soumis par fredericmazue le

pgBadger est un analyseur de performances PostgreSQL, conçu pour la rapidité. pgBadger produit des rapports entièrement détaillés basés sur les fichiers journaux PostgreSQL.

pgBadger 11.8 vient de sortir. Cette version de pgBadger corrige certains problèmes signalés par les utilisateurs depuis trois mois et en particulier deux correctifs sur la détection de nouvelles entrées de journal en mode incrémentiel.

  • Correction de la détection de nouvelles entrées de journal avec horodatage lorsque la milliseconde (%m) ou l'époque (%n) était utilisée dans log_line_prefix.
  • Correction de la détection de nouvelles entrées de journal dans le fichier local lorsque le multiprocessus n'était pas utilisé.
  • Gérer l'espace réservé de l'ID de requête %Q.

Pour la liste complète des modifications, consulter la note de version.

Database Lab Engine 3.1

Soumis par fredericmazue le

L'équipe Postgres.ai a annoncé la sortie de la version 3.1 de Database Lab Engine (DLE). Database Lab Engine est une technologie open source qui permet le clonage léger pour PostgreSQL. Les clones légers sont utiles lorsque vous devez faire évoluer le processus de développement. DLE peut gérer des dizaines de clones indépendants de votre base de données sur une seule machine, de sorte que chaque ingénieur ou processus d'automatisation fonctionne avec sa propre base de données provisionnée en quelques secondes.

Parmi les changements majeurs dans DLE 3.1 :

  • Prise en charge native de pgBackRest en tant qu'outil de restauration de données à partir d'archives (mode physique, y compris l'état continuellement mis à jour), en plus de la prise en charge existante de WAL-G
  • Configuration du fuseau horaire dans la configuration DLE CLI pour améliorer l'expérience d'utilisation de DLE dans les pipelines CI/CD
  • README.md amélioré, traduit en quatre langues
  • De nombreuses améliorations dans le moteur et l'interface utilisateur pour améliorer le travail en modes logique et physique

PostgreSQL Anonymizer 0.10

Soumis par fredericmazue le

PostgreSQL Anonymizer est une extension qui masque ou remplace les informations personnellement identifiables (PII) ou les données commercialement sensibles d'une base de données PostgreSQL. Cette extension est officiellement prise en charge sur PostgreSQL 9.6 et les versions ultérieures.

L'extension prend en charge 3 stratégies d'anonymisation différentes : le masquage dynamique, le masquage statique et les vidages anonymes. Elle offre également un large choix de fonctions de masquage telles que la substitution, la randomisation, la simulation, la pseudonymisation, le brouillage partiel, le mélange, l'ajout de bruit et la généralisation.

Cette version 0.10 est une étape majeure vers la prochaine version 1.0 qui sera considérée comme prête pour la production. Le moteur de masquage dynamique a été simplifié et amélioré. Le changement n'est pas visible pour les utilisateurs finaux, mais le fonctionnement interne est désormais plus robuste, en particulier le déclencheur d'événement principal qui masque les données réelles aux rôles masqués.

L'anonymisation peut être une tâche difficile. Un didacticiel complet est disponible ici. Une documentation pour installer cette extension est disponible ici.