PostgreSQL

Database Lab Engine 3.0

Soumis par fredericmazue le

L'équipe Postgres.ai a annoncé la sortie de la version 3.0 de Database Lab Engine (DLE). Database Lab Engine est une technologie open source qui permet le clonage léger pour PostgreSQL. Les clones légers sont utiles lorsque vous devez faire évoluer le processus de développement. DLE peut gérer des dizaines de clones indépendants de votre base de données sur une seule machine, de sorte que chaque ingénieur ou processus d'automatisation fonctionne avec sa propre base de données provisionnée en quelques secondes.

Parmi les changements majeurs dans DLE 3.0 :

  • Interface utilisateur incluse dans le cœur de l'outil, qui permet de travailler avec une seule instance de DLE
  • Clones persistants : les clones survivent désormais au redémarrage du DLE (ou de la VM),
  • Pour le mode de provisionnement des données « logiques » : la possibilité de changer l'état du clone de réinitialisation à l'aide d'un instantané provenant d'un pool/ensemble de données différent,
  • Une meilleure simplicité de journalisation et de configuration,
  • Des améliorations pour les cas où plusieurs DLE s'exécutent sur une seule machine,
  • Prise en charge de PostgreSQL 14.

Database Lab Engine est un logiciel libre sous licence GNU Affero General Public License v3.0 disponible sur GitHub.

Sortie de PostgreSQL 14

Soumis par fredericmazue le

Le PostgreSQL Global Development Group vient d'annoncer la sortie de PostgreSQL 14, la dernière version de la célèbre base de données open source.

PostgreSQL 14 apporte une variété de fonctionnalités qui aident les développeurs et les administrateurs à déployer leurs applications basées sur les données. PostgreSQL continue d'ajouter des innovations sur les types de données complexes, notamment un accès plus pratique pour JSON et la prise en charge de plages de données non contiguës. Cette dernière version s'ajoute à la tendance de PostgreSQL à améliorer les charges de travail de données distribuées et hautes performances, avec des avancées en matière de concurrence de connexion, de charges de travail d'écriture élevées, de parallélisme des requêtes et de réplication logique.

« Cette dernière version de PostgreSQL améliore la capacité de nos utilisateurs à gérer les charges de travail de données à grande échelle, améliore l'observabilité et contient de nouvelles fonctionnalités qui aident les développeurs d'applications », a déclaré Magnus Hagander, membre de l'équipe principale de PostgreSQL. « PostgreSQL 14 témoigne du dévouement de la communauté mondiale PostgreSQL pour répondre aux commentaires et continuer à fournir des logiciels de base de données innovants qui sont déployés par des organisations grandes et petites. »

PostgreSQL bénéficie de plus de 25 ans de développement open source d'une communauté mondiale de développeurs.

Commodités et multigammes JSON

PostgreSQL prend en charge la manipulation des données JSON depuis la sortie de PostgreSQL 9.2, bien que la récupération des valeurs utilise une syntaxe unique. PostgreSQL 14 vous permet désormais d'accéder aux données JSON à l'aide d'indices, par ex. une requête comme

SELECT ('{ "postgres": { "release": 14 }}'::jsonb)['postgres']['release'] ;

fonctionne maintenant. Cela aligne PostgreSQL avec la syntaxe communément reconnue pour récupérer des informations à partir de données JSON. Le framework d'abonnement ajouté à PostgreSQL 14 peut généralement être étendu à d'autres structures de données imbriquées et est également appliqué au type de données hstore dans cette version.

Les types de plage, également publiés pour la première fois dans PostgreSQL 9.2, prennent désormais en charge les plages non contiguës grâce à l'introduction du type de données « multiplage ». Une plage multiple est une liste ordonnée de plages qui ne se chevauchent pas, ce qui permet aux développeurs d'écrire des requêtes plus simples pour traiter des séquences complexes de plages. Les types de plage natifs de PostgreSQL (dates, heures, nombres) prennent en charge les plages multiples, et d'autres types de données peuvent être étendus pour utiliser la prise en charge multiplage.

Améliorations des performances pour les charges de travail lourdes

PostgreSQL 14 fournit une augmentation significative du débit sur les charges de travail qui utilisent de nombreuses connexions, certains benchmarks montrant une accélération de 2x. Cette version continue sur les récentes améliorations apportées à la gestion des index B-tree en réduisant le gonflement des index sur les tables avec des index fréquemment mis à jour.

PostgreSQL 14 introduit la possibilité de canaliser les requêtes vers une base de données, ce qui peut améliorer considérablement les performances sur les connexions à latence élevée ou pour les charges de travail avec de nombreuses petites opérations d'écriture (INSERT/UPDATE/DELETE). Comme il s'agit d'une fonctionnalité côté client, vous pouvez utiliser le mode pipeline avec n'importe quelle base de données PostgreSQL moderne avec le client version 14 ou un pilote client construit avec la version 14 de libpq.

Améliorations pour les charges de travail distribuées

Les bases de données PostgreSQL distribuées devraient bénéficier de PostgreSQL 14. Lors de l'utilisation de la réplication logique, PostgreSQL peut désormais diffuser les transactions en cours vers les abonnés, avec des avantages significatifs en termes de performances pour l'application de transactions volumineuses sur les abonnés. PostgreSQL 14 ajoute également plusieurs autres améliorations de performances au système de décodage logique qui alimente la réplication logique.

Les wrappers de données étrangères, qui sont utilisés pour travailler avec des charges de travail fédérées dans PostgreSQL et d'autres bases de données, peuvent désormais tirer parti du parallélisme des requêtes dans PostgreSQL 14. Cette version implémente cette capacité dans postgres_fdw, le wrapper de données étrangères qui s'interface avec d'autres bases de données PostgreSQL.

En plus de prendre en charge le parallélisme des requêtes, postgres_fdw peut désormais insérer en bloc des données sur des tables étrangères et importer des partitions de table avec la directive IMPORT FOREIGN SCHEMA.

Administration et observabilité

PostgreSQL 14 étend ses gains de performances au système d'aspiration, y compris des optimisations pour réduire les frais généraux des B-Trees. Cette version ajoute également un "mode d'urgence" vide conçu pour empêcher le bouclage de l'ID de transaction. ANALYZE, utilisé pour collecter des statistiques de base de données, s'exécute désormais beaucoup plus rapidement dans PostgreSQL 14 en raison de ses propres améliorations de performances.

La compression pour le système TOAST de PostgreSQL, qui est utilisé pour stocker des données plus volumineuses comme des blocs de texte ou des géométries, peut désormais être configurée. PostgreSQL 14 ajoute la compression LZ4 pour les colonnes TOAST tout en conservant la prise en charge de la compression pglz.

PostgreSQL 14 ajoute plusieurs nouvelles fonctionnalités pour faciliter la surveillance et l'observabilité, notamment la possibilité de suivre la progression des commandes COPY, l'activité d'écriture anticipée (WAL) et les statistiques sur les emplacements de réplication. L'activation de compute_query_id vous permet de suivre de manière unique une requête via plusieurs fonctionnalités PostgreSQL

PoistgreSQL 14 peut être téléchargé ici.

Sortie de PostgreSQL 14 RC 1

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce que la première version candidate de PostgreSQL 14 est désormais disponible en téléchargement. En tant que version candidate, PostgreSQL 14 RC 1 sera essentiellement identique à la version initiale de PostgreSQL 14, bien que d'autres correctifs puissent être appliqués avant la disponibilité générale de PostgreSQL 14, est-il précisé.

La date prévue pour la disponibilité générale de PostgreSQL 14 est le 30 septembre 2021.

Pour mettre à niveau vers PostgreSQL 14 RC 1 à partir de versions antérieures de PostgreSQL, vous devrez utiliser une stratégie de mise à niveau de version majeure, par ex. pg_upgrade ou pg_dump / pg_restore. Pour plus d'informations, veuillez visiter la section de documentation sur la mise à niveau.

Plusieurs corrections de bogues ont été appliquées pour PostgreSQL 14 au cours de la période bêta 3. Dont:

  • La fonctionnalité autovacuum revient à sa version précédente et la fonctionnalité qui analyse les tables partitionnées ne sera finalement pas disponible dans PostgreSQL 14
  • Correction de l'échec d'EXPLAIN VERBOSE sur une requête avec SEARCH BREADTH FIRST
  • CREATE STATISTICS rejette désormais les expressions à variable unique
  • Correction d'un problème où SELECT DISTINCT ROW produit une erreur

Liste détaillée des correctifs

postgresql-wheel : installer un serveur PostgreSQL local avec Python "pip"

Soumis par fredericmazue le

postgresql-wheel est un package Python contenant un serveur PostgreSQL entier compilé dans un seul fichier pip.

pip est un installateur de packages Python universellement utilisé pour empaqueter le code Python et les bibliothèques partagées compilées. Le format est similaire aux autres formats d'archives (apt, yum, etc.) et peut stocker tout type d'artefacts de package compilés, comme un binaire d'installation postgres entier.

postgresql-wheel utilise les environnements de construction "manylinux" pour compiler PostgreSQL et inclure une installation de serveur complète. Cela signifie que vous pouvez installer un serveur postgresql local dans un environnement virtuel sans aucun privilège sudo ou root.

Ce package a été développé pour être utile aux exécuteurs de test qui dépendent de postgresql. Actuellement il ne fonctionne que pour la plupart des versions Linux.

postgresql-wheel est un logiciel libre sous licence Apache 2.0 disponible sur GitHub.

Commentaire actu

Anonyme (non vérifié)

On pouvait le faire sans sudo, ni root et passé par PIP, encore une idée d'un génie... du mal...FBI!
En gros sans intérêt, une perte de temps pour l'humanité.
Gros bisous.

jeu, 2 Sep 2021 - 12:54 Permalien

Membre depuis

13 ans 1 mois
admin

Ca être utile pour installer sur un système Linux dont on n'est pas administrateur, ou dans un compte utilisateur pour faire des essais ou du développement sans utiliser le PostgreSQL du système éventuellement présent. Il suffit juste de changer le port du second PostgreSQL.

On se demande un peu ce que vient faire le FBI dans votre commentaire ? Quant aux bisous...

jeu, 2 Sep 2021 - 22:46 Permalien

Sortie de PostgreSQL 14 Beta 1

Soumis par fredericmazue le

Le projet PostgreSQL Global Development Group vient d'annoncer la disponibilité de la première bêta de PostgreSQL 14. Voici quelques-unes des améliorations et nouveautés apportées par cette nouvelle version majeure.

Performance

Cette version présente des améliorations significatives du débit des transactions pour les systèmes PostgreSQL qui ont un grand nombre de connexions à la base de données, qu'ils soient dans un état actif ou inactif. PostgreSQL 14 contient également des gains supplémentaires dans la réduction de la surcharge d'indexation de B-tree, y compris la réduction du gonflement sur les tables avec des index fréquemment mis à jour. Les index GiST peuvent désormais pré-trier les données pendant leur processus de construction, permettant à la fois une création d'index plus rapide et des index plus petits. Les index SP-GiST prennent désormais en charge les index de couverture qui permettent aux utilisateurs d'ajouter des colonnes non recherchées supplémentaires à l'index via la clause INCLUDE.

Il existe de nombreuses améliorations du parallélisme des requêtes dans PostgreSQL 14. En plus des améliorations de performances globales pour les analyses séquentielles parallèles, la directive RETURN QUERY dans PL / pgSQL peut désormais exécuter des requêtes avec parallélisme. REFRESH MATERIALIZED VIEW peut désormais également utiliser le parallélisme des requêtes

PostgreSQL 14 introduit également la possibilité de tirer parti du parallélisme des requêtes lors de l'interrogation de bases de données distantes à l'aide de wrappers de données étrangères. L'encapsuleur de données étrangères PostgreSQL, postgres_fdw, a ajouté la prise en charge de cela dans PostgreSQL 14 lorsque l'indicateur async_capable est défini. postgres_fdw prend également en charge les insertions en bloc et peut importer des partitions de table à l'aide de IMPORT FOREIGN SCHEMA et peut maintenant exécuter TRUNCATE sur des tables étrangères.

Cette version comporte également plusieurs améliorations du système de partitionnement, notamment des gains de performances lors de la mise à jour ou de la suppression de lignes sur des tables où seules quelques partitions sont affectées. Dans PostgreSQL 14, les partitions peuvent maintenant être détachées de manière non bloquante en utilisant la commande ALTER TABLE ... DETACH PARTITION ... CONCURRENTLY.

Le tri incrémentiel, introduit dans la version précédente, peut désormais être utilisé par les fonctions de fenêtre dans PostgreSQL 14. Cette nouvelle version ajoute plus de fonctionnalités aux statistiques étendues, qui peuvent désormais être appliquées aux expressions.

PostgreSQL prend en charge la compression sur ses colonnes de «données surdimensionnées» (c'est-à-dire le système TOAST) depuis des décennies, mais cette version ajoute la possibilité de choisir maintenant d'utiliser la compression LZ4 pour la compression de colonne.

PostgreSQL apporte aussi des améliorations de performances dans les domaines de la réplication et de la récupération. Notamment sur la façon dont PostgreSQL démarre lors d'une récupération après incident, et vous pouvez maintenant utiliser pg_rewind sur une instance PostgreSQL qui est en mode veille.

Types de données + SQL

S'appuyant sur son support existant pour les types de plage, PostgreSQL 14 ajoute le nouveau type multirange qui vous permet de spécifier une liste ordonnée de plages non contiguës, par exemple:

SELECT datemultirange (daterange ('2021-07-01', '2021-07-31'), daterange ('2021-09-01', '2021-09-30'), daterange ('2021-11-01') , '2021-11-30'), daterange ('2022-01-01', '2022-01-31'), daterange ('2022-03-01', '2022-04-07'));

Le nouveau type multirange prend en charge les opérations existantes disponibles pour les types de plage.

PostgreSQL 14 ajoute maintenant un cadre général d'indexation pour récupérer des informations dans des objets imbriqués. Par exemple, vous pouvez maintenant récupérer des informations imbriquées dans le type de données JSONB à l'aide de la syntaxe d'indice, par exemple:

SELECT ('{"this": {"now": {"works": "in postgres 14!"}}}' :: jsonb) ['this'] ['now'] ['works'];

PostgreSQL 14 ajoute également la prise en charge des paramètres OUT dans les procédures stockées et permet à la clause GROUP BY d'utiliser le mot clé DISTINCT pour supprimer les combinaisons GROUPING SET en double.

Pour les expressions de table communes récursives (requêtes WITH), PostgreSQL 14 ajoute les commodités syntaxiques de SEARCH et CYCLE pour aider respectivement à ordonner et à détecter les cycles.

Il y a aussi la nouvelle fonction date_bin dans PostgreSQL 14 qui peut aligner les horodatages avec des intervalles spécifiés, une technique connue sous le nom de «binning».

Administration

 

PostgreSQL 14 apporte de nombreuses améliorations à VACUUM, avec des optimisations orientées vers les index. Autovacuum analyse désormais les tables partitionnées et peut propager des informations sur le nombre de lignes aux tables parentes. Il existe également des gains de performances dans ANALYZE qui peuvent être contrôlés avec le paramètre maintenance_io_concurrency.

PostgreSQL 14 inclut de nombreuses améliorations sur les informations pouvant être surveillées, y compris la possibilité de suivre la progression de COPY en utilisant la vue pg_stat_progress_copy. Cette version vous permet de suivre l'activité WAL à partir de la vue pg_stat_wal et d'inspecter les statistiques de l'emplacement de réplication à partir de la vue pg_stat_replication_slots.

Il existe plusieurs nouveaux paramètres dans PostgreSQL 14 pour aider à gérer les connexions. Ceux-ci incluent idle_session_timeout, qui peut fermer les connexions inactives après la période spécifiée, et le paramètre client_connection_check_interval qui permet à PostgreSQL d'annuler les longues requêtes en cours si un client se déconnecte 

La commande REINDEX peut maintenant traiter tous les index enfants d'une table partitionnée, et PostgreSQL 14 ajoute l'utilitaire pg_amcheck pour aider à vérifier la corruption des données.

La note de version complète de PostgreSQL 14 Bêta 1 est ici.

PostgreSQL 14 Bêta 1 peut être téléchargée ici sur son site officiel. Des binaires sont fournis pour Linux, macOS, Windows, BSD et Solaris.

Kubegres : un opérateur Kubernetes open source pour déployer des clusters d'instances PostgreSQL

Soumis par fredericmazue le

Kubegres est un opérateur Kubernetes permettant de déployer un cluster d'instances PostgreSQL avec la réplication de données activée et prête à l'emploi. Kubegres est conçu pour apporter de la simplicité lors de l'utilisation de PostgreSQL compte tenu de la complexité de la gestion du cycle de vie et de la réplication des données d'un ensemble avec état avec Kubernetes.

Kubegres crée un pod PostgreSQL principal et un certain nombre de pods PostgreSQL de réplication et réplique la base de données primaire en temps réel sur les pods de réplication. Il gère le basculement : si un PostgreSQL principal tombe en panne, il promeut automatiquement un Replica PostgreSQL en tant que serveur principal. Il dispose d'une option de sauvegarde des données permettant de vider régulièrement les données PostgreSQL dans un volume donné.

S'il existe déjà des opérateurs similaires, les concepteurs de Kubegres souligne que celui-ci est minimaliste en termes de base de code par rapport aux autres opérateurs Postgres open source. Il s'appuie à 100% sur les bibliothèques standard PostgreSQL regroupées dans les conteneurs PostgreSQL. Il n'est livré avec aucune bibliothèque personnalisée ou tierce pour gérer ces fonctionnalités.

Toujours selon ses concepteurs, Kubegres présente une petite courbe d'apprentissage : si vous êtes déjà familier avec les bibliothèques PostgreSQL standard, vous pouvez comprendre et administrer Kubegres facilement, soulignent-ils.

Kubegres est entièrement écrit en Go. Kubegres est un logiciel libre sous licence Apache 2.0, disponible sur GitHub. Son site officiel kubegres.io fournit un guide de démarrage et une documentation complète.

Sortie de pgAdmin 4 v5.0 désormais basé sur NWjs

Soumis par fredericmazue le

pgAdmin 4 est le principal outil de gestion graphique open source pour PostgreSQL. Il vient de sortir en version 5.0.

Dans cette version, on remarquera principalement que l'enviromment d'excution Desktop Runtime est désormais basé sur NWjs qui intègre un navigateur et le serveur Python, créant ainsi une application autonome. Avec cette implémentation à l'aide de NWjs, pgAdmin s'affranchit de l'application serveur séparée et du navigateur indépendant. pgAdmin s'affranchit également de la logique d'exécution QT et C ++.

Il y a toutefois à ce jour deux problèmes mineurs connus avec cette nouvelle implémentation, tous deux dus à des bogues dans NWjs lui-même; Les utilisateurs sous macOS doivent utiliser le menu de l'application pour quitter pgAdmin, plutôt que l'icône du Dock pour éviter le premier problème. Le deuxième problème peut amener les utilisateurs Windows à voir un carré rouge au lieu de l'icône d'application normale dans certaines circonstances.

On remarque encore, côté interface utilisateur, l'ajout d'une recherche rapide dans le menu Aide.

La note de version complète de pgAdmin 4 v5.0 est ici.

pgAdmin est un logiciel libre sous licence PostgreSQL qui peut être obtenu depuis son site officiel.

Une démonstration en ligne de pgAdmin est proposée ici.

pgFormatter v5.0

Soumis par fredericmazue le

pgFormatter est un formateur de code SQL et PlPgsql dédié à PostgreSQL. Il vient sous la forme d'une commande CLI utilisable dans un contexte CGI.

pgFormatter vient de sortir en version 5.0. Il s'agit d'une version majeure qui corrige les problèmes remontés par les utilisateurs depuis les six derniers et qui apporte quelques améliorations et nouvelles fonctionnalités, parmi lesquelles

  • Une nouvelle option activer la recherche sur plusieurs lignes avec une expression rationnelle
  • Correction d'une mauvaise gestion des constantes entre guillemets dans tous les types de requêtes et en particulier dans le corps de la fonction.
  • Ajout des mots-clés ALWAYS, DISABLE, ENABLE, LEVEL et STORED.
  • Formatage amélioré pour les requêtes CREATE POLICY
  • Suppression de la correction des faux positifs pour les mots clés
  • etc.

pgFormatter  est un logiciel libre sous licence PostgreSQL, disponible sur GitHub. Il dispose d'un site dédié offrant une démonstration de son fonctionnement.

Sortie de pgAdmin 4 v4.27

Soumis par fredericmazue le

pgAdmin 4 est le principal outil de gestion graphique open source pour PostgreSQL. Il vient de sortir en version 4.27.

Cette version de pgAdmin 4 comprend 28 corrections de bogues et de nouvelles fonctionnalités.

Les changements notables dans cette version incluent:

  • Ajout de la prise en charge des macros.
  • Ajout du support de la fonction trigger view sous le nœud de trigger respectif.
  • L'utilisateur est autorisé à modifier la connexion à la base de données à partir d'un onglet de l'outil de requête ouvert.
  • Ajout de la prise en charge pour ignorer le propriétaire lors de la comparaison d'objets dans l'outil Schema Diff.
  • Fusion du dernier code de «pgcli» utilisé pour la fonction de saisie semi-automatique.
  • etc.

La note de version complète est ici.

pgadmin 4 version 4.27 peut être obtenu ici.

Sortie d'Ora2Pg 21.0

Soumis par fredericmazue le

Ora2Pg est un outil pour migrer une base de données Oracle vers PostgreSQL. L'équipe de PostgreSLQ vient d'annoncer la sortie de la version 21 de cet outil.

Ora2Pg se connecte votre base de données Oracle, la scanne, et extrait sa structure ou ses données, puis génère des scripts SQL que vous pouvez injecter dans votre base de données PostgreSQL. Ora2Pg se compose d'un script Perl (ora2pg) et d'un module Perl (Ora2Pg.pm).

Cette nouvelle version améliore considérablement la vitesse de génération du rapport sur l'évaluation de la migration, en particulier pour les bases de données avec un grand nombre d'objets.

La vitesse d'exportation des données BLOB / CLOB est améliorée également. Oracle recommande de lire et d'écrire dans un LOB par lots en utilisant un multiple de la taille de segment LOB. Cette taille de bloc est par défaut de 8k (8192). Des tests récents montrent que les meilleures performances peuvent être atteintes avec une valeur plus élevée comme 512K ou 4Mo, ce que Ora2Pg prend en charge.

La note de version complète est ici.

Ora2Pg est un logiciel libre sous licence GNU General Public License v3.0 disponible sur GitHub.