PostgreSQL

pgAdmin 4 v7.8

Soumis par fredericmazue le

L'équipe de développement de pgAdmin a annoncé la disponibilité de la version 7.8 de pgAdmin 4. Cette version de pgAdmin 4 inclut 21 corrections de bugs et nouvelles fonctionnalités. Pour mémoire pgAdmin est le principal outil de gestion graphique Open Source pour PostgreSQL.

Les nouveautés de pgAdmin 4 v7.8 sont :

  • Représentation graphique de l'activité du système à l'aide de l'extension 'system_stats'.
  • Ajout d'un nouvel onglet « Statistiques système » sous l'onglet Tableau de bord. Ce nouvel onglet contient les détails sur le processeur, la mémoire et le stockage.
  • Ajout de la prise en charge de la nouvelle fonctionnalité des tables étrangères pour PG 11 et versions ultérieures.
  • Autorisation de la définition d'un nom d'utilisateur personnalisé pour les serveurs partagés, avec par défaut le nom d'utilisateur du serveur partagé.
  • Ajout de l'option 'GENERATED ALWAYS AS..' lors de la création de contraintes de colonne pour la table étrangère.
  • Ajout du paramètre de chaîne de connexion 'load_balance_hosts' pour PG 16 et supérieur.

PostgreSQL credcheck 2.2

Soumis par fredericmazue le

L'extension credcheck PostgreSQL fournit quelques vérifications générales des informations d'identification, qui seront évaluées lors de la création de l'utilisateur, lors du changement du mot de passe et du changement de nom de l'utilisateur. En utilisant cette extension, il est possible de définir un ensemble de règles :

  • autoriser un ensemble spécifique d'informations d'identification
  • rejeter un certain type d'informations d'identification
  • refuser un mot de passe qui peut être facilement déchiffré
  • imposer l'utilisation d'une date d'expiration avec un minimum de jours pour un mot de passe
  • définir une politique de réutilisation des mots de passe
  • définir le nombre d'échecs d'authentification autorisés avant qu'un utilisateur ne soit banni

La version 2.2 qui vient d'être publiée ajoute une nouvelle fonctionnalité, corrige un bug majeur avec les mots de passe nuls et corrige certains problèmes signalés par les utilisateurs depuis la dernière version.

La nouvelle fonctionnalité ajoute une nouvelle variable GUC credcheck.whitelist qui peut être utilisée pour définir une liste de noms d'utilisateur séparés par des virgules à exclure de la vérification de la politique de mot de passe. Par exemple : credcheck.whitelist = 'admin,supuser' désactivera toute politique de vérification de crédibilité pour les utilisateurs nommés admin et supuser.

La mise à niveau de l'extension nécessite un redémarrage de PostgreSQL pour recharger la bibliothèque Credcheck.

PostgreSQL 16 est disponible

Soumis par fredericmazue le

Le groupe de développement PostgreSQL a annoncé aujourd'hui la sortie de PostgreSQL 16. Une version qui augmente ses performances, avec des améliorations notables du parallélisme des requêtes, du chargement de données en masse et de la réplication logique. Cette version comporte de nombreuses fonctionnalités destinées aux développeurs et aux administrateurs, notamment davantage de syntaxe SQL/JSON, de nouvelles statistiques de surveillance de vos charges de travail et une plus grande flexibilité dans la définition de règles de contrôle d'accès pour la gestion des politiques sur les grands parcs.

« A mesure que les modèles de bases de données relationnelles évoluent, PostgreSQL continue de gagner en performances dans la recherche et la gestion des données à grande échelle », a déclaré Dave Page, membre de l'équipe principale de PostgreSQL. « PostgreSQL 16 offre aux utilisateurs davantage de méthodes pour faire évoluer leurs charges de travail, tout en leur offrant de nouvelles façons d'obtenir des informations et d'optimiser la façon dont ils gèrent leurs données. »

Amélioration des performances

PostgreSQL 16 améliore les performances des fonctionnalités PostgreSQL existantes grâce à de nouvelles optimisations du planificateur de requêtes. Dans cette dernière version, le planificateur de requêtes peut paralléliser les jointures FULL et RIGHT, générer des plans mieux optimisés pour les requêtes qui utilisent des fonctions d'agrégation avec une clause DISTINCT ou ORDER BY, utiliser des tris incrémentiels pour les requêtes SELECT DISTINCT et optimiser les fonctions de fenêtre afin qu'elles s'exécutent plus efficacement. Il améliore également les « anti-jointures » RIGHT et OUTER, qui permettent aux utilisateurs d'identifier les lignes non présentes dans une table jointe.

Cette version inclut des améliorations pour le chargement en bloc à l'aide de COPY dans les opérations simples et simultanées, avec des tests montrant jusqu'à 300 % d'amélioration des performances dans certains cas. PostgreSQL 16 ajoute la prise en charge de l'équilibrage de charge dans les clients qui utilisent libpq, ainsi que des améliorations de la stratégie de vide qui réduisent la nécessité de geler des tables complètes. De plus, PostgreSQL 16 introduit l'accélération du processeur à l'aide de SIMD dans les architectures x86 et ARM, ce qui entraîne des gains de performances lors du traitement des chaînes ASCII et JSON et lors des recherches de tableaux et de sous-transactions.

Réplication logique

La réplication logique permet aux utilisateurs de diffuser des données vers d'autres instances ou abonnés PostgreSQL capables d'interpréter le protocole de réplication logique PostgreSQL. Dans PostgreSQL 16, les utilisateurs peuvent effectuer une réplication logique à partir d'une instance de secours, ce qui signifie qu'une instance de secours peut publier des modifications logiques sur d'autres serveurs. Cela offre aux développeurs de nouvelles options de répartition de la charge de travail, par exemple en utilisant un serveur de secours plutôt que le serveur principal le plus occupé pour répliquer logiquement les modifications apportées aux systèmes en aval.

De plus, PostgreSQL 16 présente plusieurs améliorations de performances en matière de réplication logique. Les abonnés peuvent désormais appliquer des transactions volumineuses à l'aide de travailleurs parallèles. Pour les tables qui n'ont pas de clé primaire, les abonnés peuvent utiliser des index B-tree au lieu d'analyses séquentielles pour rechercher des lignes. Sous certaines conditions, les utilisateurs peuvent également accélérer la synchronisation initiale des tables en utilisant le format binaire.

Il existe plusieurs améliorations du contrôle d'accès à la réplication logique dans PostgreSQL 16, notamment le nouveau rôle prédéfini pg_create_subscription, qui accorde aux utilisateurs la possibilité de créer de nouveaux abonnements logiques. Enfin, cette version commence à ajouter la prise en charge de la réplication logique bidirectionnelle, en introduisant une fonctionnalité permettant de répliquer des données entre deux tables provenant d'éditeurs différents.

Expérience du développeur

PostgreSQL 16 ajoute davantage de syntaxe du standard SQL/JSON, notamment des constructeurs et des prédicats tels que JSON_ARRAY(), JSON_ARRAYAGG() et IS JSON. Cette version introduit également la possibilité d'utiliser des traits de soulignement pour les séparateurs de milliers (par exemple 5_432_000) et des littéraux entiers non décimaux, tels que 0x1538, 0o12470 et 0b1010100111000.

Les développeurs utilisant PostgreSQL 16 bénéficient également des nouvelles commandes de psql. Cela inclut \bind, qui permet aux utilisateurs de préparer des requêtes paramétrées et d'utiliser \bind pour remplacer les variables (par exemple SELECT $1::int + $2::int \bind 1 2 \g).

PostgreSQL 16 améliore la prise en charge générale des classements de texte, qui fournissent des règles sur la manière dont le texte est trié. PostgreSQL 16 est construit avec la prise en charge d'ICU par défaut, détermine les paramètres régionaux ICU par défaut à partir de l'environnement et permet aux utilisateurs de définir des règles de classement ICU personnalisées.

Surveillance

Un aspect clé de l’optimisation des performances des charges de travail de base de données consiste à comprendre l’impact de vos opérations d’E/S sur votre système. PostgreSQL 16 introduit pg_stat_io, une nouvelle source de métriques d'E/S clés pour l'analyse granulaire des modèles d'accès aux E/S.

De plus, cette version ajoute un nouveau champ à la vue pg_stat_all_tables qui enregistre un horodatage représentant la dernière analyse d'une table ou d'un index. PostgreSQL 16 rend également auto_explain plus lisible en enregistrant les valeurs transmises dans les instructions paramétrées et améliore la précision de l'algorithme de suivi des requêtes utilisé par pg_stat_statements et pg_stat_activity.

Contrôle d'accès et sécurité

PostgreSQL 16 fournit des options plus fines pour le contrôle d'accès et améliore d'autres fonctionnalités de sécurité. La version améliore la gestion des fichiers pg_hba.conf et pg_ident.conf, notamment en permettant la correspondance d'expressions régulières pour les noms d'utilisateur et de base de données et en incluant des directives pour les fichiers de configuration externes.

Cette version ajoute plusieurs paramètres de connexion client orientés sécurité, notamment require_auth, qui permet aux clients de spécifier les paramètres d'authentification qu'ils sont prêts à accepter d'un serveur, et sslrootcert="system", qui indique que PostgreSQL doit utiliser l'autorité de certification de confiance (CA ) magasin fourni par le système d'exploitation du client. De plus, la version ajoute la prise en charge de la délégation des informations d'identification Kerberos, permettant à des extensions telles que postgres_fdw et dblink d'utiliser des informations d'identification authentifiées pour se connecter à des services de confiance.

Site : postgresql.org

PostgreSQL 16 RC1

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce que la première version candidate de PostgreSQL 16 est désormais disponible en téléchargement. En tant que version candidate, PostgreSQL 16 RC 1 sera essentiellement identique à la version initiale de PostgreSQL 16, bien que d'autres correctifs puissent être appliqués avant la disponibilité générale de PostgreSQL 16.

La date prévue pour la disponibilité générale de PostgreSQL 16 est le 14 septembre 2023. Veuillez consulter la section « Calendrier de sortie » pour plus de détails.

Depuis la bêta 3, plusieurs corrections de bugs ont été appliquées à PostgreSQL 16 pendant la période bêta 3, dont la correction de la régression des performances lors de l'exécution simultanée de COPY sur une seule table.

PostgreSQL 16 Bêta 1

Soumis par fredericmazue le

Le PostgreSQL Global Development Group a annoncé la disponibilité de la première version bêta de PostgreSQL 16. Voici quelques points forts des fonctionnalités de PostgreSQL 16

Performance

PostgreSQL 16 inclut des améliorations de performances dans l'exécution des requêtes. Cette version ajoute plus de parallélisme des requêtes, notamment en permettant aux jointures FULL et RIGHT de s'exécuter en parallèle et en parallèle de l'exécution des fonctions d'agrégation string_agg et array_agg. De plus, PostgreSQL 16 peut utiliser des tris incrémentiels dans les requêtes SELECT DISTINCT. Il existe également plusieurs optimisations pour les requêtes de fenêtre, des améliorations dans les recherches pour les partitions RANGE et LIST et la prise en charge des "anti-jointures" dans les requêtes RIGHT et OUTER.

PostgreSQL 16 peut également améliorer les performances du chargement en masse simultané de données à l'aide de COPY jusqu'à 300 %.

Cette version introduit également la prise en charge de l'accélération du processeur à l'aide de SIMD pour les architectures x86 et ARM, y compris des optimisations pour le traitement des chaînes ASCII et JSON, et des recherches de tableaux et de sous-transactions. De plus, PostgreSQL 16 introduit l'équilibrage de charge dans libpq, la bibliothèque cliente pour PostgreSQL.

Améliorations de la réplication logique

La réplication logique permet aux utilisateurs de PostgreSQL de diffuser des données en temps réel vers d'autres PostgreSQL ou d'autres systèmes externes qui implémentent le protocole logique. Jusqu'à PostgreSQL 16, les utilisateurs ne pouvaient créer des éditeurs de réplication logique que sur des instances principales. PostgreSQL 16 ajoute la possibilité d'effectuer un décodage logique sur une instance de secours, offrant aux utilisateurs plus d'options pour répartir leur charge de travail, par exemple, utiliser une instance de secours moins occupée qu'une instance principale pour répliquer logiquement les modifications.

PostgreSQL 16 inclut également plusieurs améliorations des performances de la réplication logique. Cela inclut la possibilité pour l'abonné d'appliquer des transactions volumineuses en parallèle, d'utiliser des index autres que la PRIMARY KEY pour effectuer des recherches lors des opérations UPDATE ou DELETE, et de permettre la copie des tables au format binaire lors de l'initialisation.

Expérience développeur

PostgreSQL 16 continue d'implémenter la norme SQL/JSON pour manipuler les données JSON, y compris la prise en charge des constructeurs SQL/JSON (par exemple JSON_ARRAY(), JSON_ARRAYAGG() et al) et des fonctions d'identité (IS JSON). Cette version ajoute également la fonction d'agrégation standard SQL ANY_VALUE, qui renvoie toute valeur arbitraire de l'ensemble d'agrégats. Pour plus de commodité, PostgreSQL 16 vous permet désormais de spécifier des littéraux entiers non décimaux, tels que 0xff, 0o777 et 0b101010, et d'utiliser des traits de soulignement comme séparateurs de milliers, tels que 5_432.

Cette version ajoute la prise en charge du protocole de requête étendu au client psql. Les utilisateurs peuvent exécuter une requête, par ex. SELECT $1 + $2 et utiliser la commande \bind pour substituer les variables.

Fonctions de sécurité

PostgreSQL 16 continue de donner aux utilisateurs la possibilité d'accorder un accès privilégié aux fonctionnalités sans nécessiter de superutilisateur avec de nouveaux rôles prédéfinis. Ceux-ci incluent pg_maintain, qui permet l'exécution d'opérations telles que VACUUM, ANALYZE, REINDEX, et autres, et pg_create_subscription, qui permet aux utilisateurs de créer une souscription de réplication logique. De plus, à partir de cette version, les abonnés à la réplication logique exécutent des transactions sur une table en tant que propriétaire de la table, et non en tant que superutilisateur.

PostgreSQL 16 vous permet désormais d'utiliser des expressions régulières dans les fichiers pg_hba.conf et pg_ident.conf pour faire correspondre les noms d'utilisateurs et de bases de données. De plus, PostgreSQL 16 ajoute la possibilité d'inclure d'autres fichiers dans pg_hba.conf et pg_ident.conf. PostgreSQL 16 ajoute également la prise en charge du mot-clé standard SQL SYSTEM_USER, qui renvoie le nom d'utilisateur et la méthode d'authentification utilisés pour établir une session.

PostgreSQL 16 ajoute également la prise en charge de la délégation des informations d'identification Kerberos, qui permet à des extensions telles que postgres_fdw et dblink d'utiliser les informations d'identification authentifiées pour se connecter à d'autres services. Cette version ajoute également plusieurs nouveaux paramètres de connexion axés sur la sécurité pour les clients. Cela inclut require_auth, où un client peut spécifier les méthodes d'authentification qu'il est prêt à accepter du serveur. Vous pouvez maintenant définir sslrootcert sur system pour demander à PostgreSQL d'utiliser le magasin d'autorité de certification (CA) de confiance fourni par le système d'exploitation du client.

Surveillance et gestion

PostgreSQL 16 ajoute plusieurs nouvelles fonctionnalités de surveillance, notamment la nouvelle vue pg_stat_io qui fournit des informations sur les statistiques d'E/S. Cette version fournit également un horodatage pour la dernière fois qu'une table ou un index a été analysé. Il y a aussi des améliorations à l'algorithme de normalisation utilisé pour pg_stat_activity.

Cette version inclut des améliorations de la stratégie de gel des pages, qui améliore les performances de nettoyage et d'autres opérations de maintenance. PostgreSQL 16 améliore également la prise en charge générale des classements de texte, qui fournissent des règles sur la façon dont le texte est trié. PostgreSQL 16 définit ICU comme fournisseur de classement par défaut et ajoute également la prise en charge des classements unicode et ucs_basic prédéfinis.

PostgreSQL 16 ajoute des options de compression supplémentaires à pg_dump, notamment la prise en charge de la compression lz4 et zstd.

A remarquer : Sous Windows, PostgreSQL 16 requeirt Windows 10 au minimum.

Deux correctifs de sécurité pour PostgreSQL 15, 14, 13, 12 et 11

Soumis par fredericmazue le

Le PostgreSQL Global Development Group a publié une mise à jour de toutes les versions prises en charge de PostgreSQL, notamment 15.3, 14.8, 13.11, 12.15 et 11.20. Cette version corrige deux vulnérabilités de sécurité Pour la liste complète des modifications, veuillez consulter les notes de version.

Pour mémoire, PostgreSQL 11 cessera de recevoir des correctifs le 9 novembre 2023. Si vous exécutez PostgreSQL 11 dans un environnement de production, le PostgreSQL Global Development Group vous suggère de planifier une mise à niveau vers une version plus récente et prise en charge de PostgreSQL.

Les problèmes de sécurité corrigés

CVE-2023-2454 : CREATE SCHEMA ... schema_element annule les changements de protection search_path.

Versions concernées : 11 - 15. L'équipe de sécurité ne teste généralement pas les versions non prises en charge, mais précise ce problème est assez ancien et qu'il peut donc concerner des versions antérieures.

Cette vulnérabilité permet à un attaquant disposant du privilège CREATE au niveau de la base de données d'exécuter du code arbitraire en tant que superutilisateur d'amorçage. Les propriétaires de bases de données ont ce droit par défaut, et des octrois explicites peuvent l'étendre à d'autres utilisateurs.

Le projet PostgreSQL remercie Alexander Lakhin d'avoir signalé ce problème.

CVE-2023-2455 : les politiques de sécurité des lignes ne tiennent pas compte des modifications de l'ID utilisateur après l'intégration.

Versions concernées : 11 - 15. L'équipe de sécurité ne teste généralement pas les versions non prises en charge, mais précise ce problème est assez ancien et qu'il peut donc concerner des versions antérieures.

Bien que CVE-2016-2193 corrige la plupart des interactions entre la sécurité des lignes et les changements d'ID utilisateur, il a manqué un scénario impliquant l'intégration de fonctions. Cela conduit à l'application de stratégies potentiellement incorrectes dans les cas où des stratégies spécifiques à un rôle sont utilisées et qu'une requête donnée est planifiée sous un rôle, puis exécutée sous d'autres rôles. Ce scénario peut se produire sous les fonctions de définition de la sécurité ou lorsqu'un utilisateur et une requête communs sont initialement planifiés, puis réutilisés sur plusieurs SET ROLE. L'application d'une stratégie incorrecte peut permettre à un utilisateur d'effectuer des lectures et des modifications autrement interdites. Cela affecte uniquement les bases de données qui ont utilisé CREATE POLICY pour définir une politique de sécurité de ligne.

Swiss PGDay 2023

Soumis par fredericmazue le

Le Swiss PGDay 2023, qui aura lieu à la Haute école spécialisée de Suisse orientale, Campus Rapperswil (près de Zurich) les jeudi 29 et vendredi 30 juin 2023.

La conférence se déroulera sur une journée et demie avec deux volets de présentations en anglais et en allemand. À la fin de la première journée de la conférence, un événement social sera organisé pour encourager le réseautage dans la communauté. Afin de donner plus de temps aux gens pour rentrer chez eux, l'événement se terminera vers midi vendredi.

L'appel à conférenciers est ouvert jusqu'au 17 avril 2023.

Les entreprises peuvent profiter de cette opportunité unique pour entrer en contact avec la communauté suisse PostgreSQL en sponsorisant l'événement. Voir l'appel aux sponsors pour plus de détails.

Les inscriptions sont déjà ouvertes. Le calendrier de l'événement sera publié d'ici la fin avril.

YvorySQL 2.1

Soumis par fredericmazue le

IvorySQL est un PostgreSQL avancé, entièrement fonctionnel et open source, compatible avec Oracle. L'engagement ferme des resposables du projet est de toujours rester compatible à 100 % avec Oracle. IvorySQL ajoute un interrupteur à bascule "compatible_db" pour basculer entre les modes de compatibilité Oracle et PostgreSQL. L'un des points forts d'IvorySQL est le langage procédural PL/iSQL qui prend en charge la syntaxe PL/SQL d'Oracle et les packages de style Oracle.

YvorySQL vient de sortir en version 2.1

IvorySQL 2.1 est basé sur PostgreSQL 15.1 et contient une variété de correctifs de la communauté Postgres et une nouvelle fonctionnalité depuis IvorySQL 1.5, à savoir un index global unique.

Un « index unique global » est un index unique sur une table partitionnée qui peut garantir l'unicité entre les partitions à l'aide d'une clé non partitionnée. Cette fonctionnalité peut être utilisée dans les modes de compatibilité Postgres et Oracle.

YvorySLQ est documenté sur son site dédié ivorysql.org

YvorySQL est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.

CloudNativePG 1.18

Soumis par fredericmazue le

La communauté CloudNativePG a annoncé la version 1.18.0, une nouvelle version mineure de l'opérateur CloudNativePG, qui introduit la prise en charge des emplacements de réplication physique gérés par cluster pour gérer automatiquement les emplacements de réplication physique pour chaque réplica de secours dans un cluster haute disponibilité, événements de basculement inclus.

Dans cette version le plugin cnpg pour kubectl a été amélioré avec l'introduction de 3 nouvelles commandes :

  • hibernate : pour détruire toutes les ressources générées par un cluster, à l'exception des PVC appartenant à l'instance primaire PostgreSQL (hibernate on), et recréer le cluster (hibernate off)
  • install : pour génèrer des manifestes pour remplacer les options de configuration par défaut pour un déploiement d'opérateur, telles que les espaces de noms à surveiller, les répliques, etc.
  • pgbench : pour générer des tâches pour exécuter pgbench sur un cluster donné

Quelques bogues mineurs ont été corrigés, notamment l'importation d'une base de données avec les fonctions plpgsql et la recherche de la sauvegarde la plus proche lors de l'exécution du PITR.

Sortie de PostgreSQL 15.1 et fin du support de PostgreSQL 10

Soumis par fredericmazue le

Le PostgreSQL Global Development Group a publié une mise à jour de toutes les versions prises en charge de PostgreSQL, notamment 15.1, 14.6, 13.9, 12.13, 11.18 et 10.23. Cette version corrige 25 bogues signalés au cours des derniers mois.

Pour l'occasion le PostgreSQL Global Development Group  rappelle que PostgreSQL 10 est en fin de vie et ne recevra plus de correctifs de sécurité et de bogues. PostgreSQL 10.23 est la version finale de PostgreSQL 10. Si vous exécutez PostgreSQL 10 dans un environnement de production, il vous est recommandé de planifier une mise à niveau vers une version plus récente et prise en charge de PostgreSQL.

Cette mise à jour corrige plus de 25 bogues qui ont été signalés au cours des derniers mois. Les correctifs répertoriés ci-dessous affectent PostgreSQL 15. Notamment :

  • Correction des vues pouvant être mises à jour pour les instructions INSERT qui incluent des clauses VALUES multi-lignes avec un ensemble DEFAULT
  • Interdiction des règles nommées _RETURN qui ne sont pas des règles ON SELECT
  • Interdiction de l'utilisation de MERGE sur une table partitionnée comportant des partitions de table étrangère
  • Correction de la construction de contraintes de clé étrangère par partition lors de l'exécution de ALTER TABLE ... ATTACH PARTITION, où des contraintes précédemment incorrectes ou en double pouvaient être créées
  • Correction d'un échec du planificateur avec des statistiques étendues sur les tables partitionnées ou héritées
  • Résolution des problèmes d'arrêt lent des agents de réplication en autorisant les interruptions à plusieurs endroits
  • Interdiction de la réplication logique dans les partitions de table étrangère
  • Correction du plantage dans les travaux de réplication après une erreur de syntaxe de fonction SQL ou PL/pgSQL