PostgreSQL

PostgreSQL JDBC 42.2.17 corrige l'implémentation de GSS Encryption

Soumis par fredericmazue le

En raison de quelques petits problèmes avec l'implémentation de GSS Encryption, le projet PostgreSQL vient de publier PostgreSQL JDBC 42.2.17. Le changement majeur apporté par cette nouvelle version est de ne pas tenter une connexion cryptée GSS par défaut.

De problèmes d'exceptions NullPointerException rencontrés lors de l'utilisation des classes PGbox, PGcircle, PGline, PGlseg, PGpath, PGpoint, PGpolygon et PGmoney ont aussi été corrigés.

PostgreSQL 13 est disponible

Soumis par fredericmazue le

Le PostgreSQL Global Development Group vient d'annoncer la disponibilité de PostgreSQL 13. Une version qui vient avec de nouvelles fonctionnalités de PostgreSQL 13 qui contribuent à améliorer performances globales de PostgreSQL tout en facilitant le développement des applications, selon les responsables du projet.

Par exemple, les index B-tree ont reçu des améliorations sur la façon dont ils traitent les données en double. Ces améliorations aident à réduire la taille de l'index et améliorer la vitesse de recherche, en particulier pour les index qui contiennent des valeurs répétées.

A remarquer encore PostgreSQL 13 ajoute un tri incrémentiel, ce qui accélère le tri des données lorsque les données qui proviennent des parties précédentes d'une requête sont déjà triées. En outre, les requêtes avec des clauses OR ou des listes de constantes IN / ANY peuvent utiliser des statistiques étendues (créées via «CREATE STATISTICS»), ce qui peut conduire à une meilleure planification et des gains de performances.

PostgreSQL 13 peut désormais utiliser le stockage sur disque pour l'agrégation de hachage (utilisé dans le cadre des requêtes d'agrégation) avec de grands ensembles d'agrégation.

La note de version complète, très copieuse, est disponible ici.

PostgreSQL 13 peut être téléchargé depuis son site officiel.

PostgreSQL est un logiciel libre distribué sous licence PostgreSQL, une licence similaire aux licences BSD et MIT.

Sortie de PostgreSQL 13 Bêta 1

Soumis par admin le

Le PostgreSQL Global Development Group a annoncé la disponibilité de PostgreSQL 13 Bêta 1. Cette version contient toutes les fonctionnalités qui seront disponibles dans la version finale de PostgreSQL 13.

Le PostgreSQL Global Development Group souligne que de nombreuses nouvelles fonctionnalités de PostgreSQL 13 contribuent à améliorer performances globales de PostgreSQL tout en facilitant le développement des applications.

Par exemple, les index B-tree ont reçu des améliorations sur la façon dont ils traitent les données en double. Ces améliorations aident à réduire la taille de l'index et améliorer la vitesse de recherche, en particulier pour les index qui contiennent des valeurs répétées.

A remarquer encore PostgreSQL 13 ajoute un tri incrémentiel, ce qui accélère le tri des données lorsque les données qui proviennent des parties précédentes d'une requête sont déjà triées. En outre, les requêtes avec des clauses OR ou des listes de constantes IN / ANY peuvent utiliser des statistiques étendues (créées via «CREATE STATISTICS»), ce qui peut conduire à une meilleure planification et des gains de performances.

PostgreSQL 13 peut désormais utiliser le stockage sur disque pour l'agrégation de hachage (utilisé dans le cadre des requêtes d'agrégation) avec de grands ensembles d'agrégation.

La note de version complète est ici.

PostgreSQL 13 Bêta 1 peut être téléchargé ici.

Sortie de PostgreSQL 12

Soumis par fredericmazue le

L'équipe de développement de la célèbre base de données libre PostgreSQL vient d'annoncer la sortie de PostgreSQL 12

PostgreSQL a une note de version note de version que l'on peut qualifier de copieuse. L'équipe de développement souligne particulièrement que PostgreSQL 12 améliore les performances globales des index B-tree standard, ainsi que la gestion de l'espace de ces index. Ces améliorations permettent également de réduire la taille de l'index pour les index B-tree fréquemment modifiés, en plus d'un gain de performances.

De plus, PostgreSQL 12 ajoute la possibilité de reconstruire les index simultanément, ce qui vous permet d’effectuer une opération de reconstruction d'index (REINDEX) sans bloquer les écritures sur l’index. Cette fonctionnalité devrait vous aider avec les reconstructions d'index longues qui pourraient causer des temps d'arrêt lors de la gestion d'une base de données PostgreSQL dans un environnement de production.

A remarquer encore, toujours au niveau des performances : PostgreSQL 12 améliore les performances lors du traitement de tables avec des milliers de partitions pour des opérations nécessitant uniquement l'utilisation d'un petit nombre de partitions.

Les développeurs pourront être très intéressés par l'arrivée du langage SQL/JSON Path.

Les expressions de chemin SQL/JSON, ou SQL/JSON path expressions, spécifient les éléments à extraire des données JSON. Elle sont similaires aux expressions XPath utilisées pour l'accès SQL à XML. Dans PostgreSQL 12, les expressions de chemin sont implémentées en tant que type de données jsonpath.

Les fonctions de requête et les opérateurs JSON transmettent l'expression de chemin d'accès fournie au moteur de chemin d'accès pour évaluation. Si l'expression correspond aux données JSON interrogées, l'élément SQL/JSON correspondant est renvoyé. Les expressions de chemin sont écrites dans le langage de chemin SQL/JSON et peuvent également inclure des expressions et des fonctions arithmétiques. Les fonctions de requête traitent l'expression fournie comme une chaîne de texte, elle doit donc être placée entre guillemets.

Supposons que vous souhaitiez analyser certaines données JSON d'un suivi GPS, telles que:

{
  "track": {
    "segments": [
      {
        "location":   [ 47.763, 13.4034 ],
        "start time": "2018-10-14 10:05:14",
        "HR": 73
      },
      {
        "location":   [ 47.706, 13.2635 ],
        "start time": "2018-10-14 10:39:21",
        "HR": 135
      }
    ]
  }
}

Pour récupérer les segments de track disponibles, vous utiliserez l'opérateur accesseur ainsi :

'$.track.segments'

Pour récupérer un élément qui est un tableau vous écrirez :

'$.track.segments[*].location'

Et pour récupérer une valeur du dit tableau vous écrirez :

'$.track.segments[0].location'

etc.

PostgreSQL 12 peut être téléchargé ici sous la forme de binaires Windows, Solaris, macOS, Linux (Debian, Ubuntu, Red Hat, SUSE, OpenSUSE et autres),  et FreeBSD.

GitLab abandonne le support de MySQL

Soumis par fredericmazue le

GitLab abandonne le support de MySQL pour son logiciel éponyme. Pour mémoire GitLab est un logiciel libre de forge basée sur git proposant les fonctionnalités de wiki, un système de suivi des bugs, l’intégration continue et la livraison continue.

GitLab souligne que MySQL est un très bon système de base de données, mais qu'il ne convient pas (ou plus) tout à fait à son cas particulier. Ceci en raison du manque de certaines fonctionnalités dans MySQL comme par exemple les index partiels.

Pour supporter MySQL, l'équipe de GitLab devait écrire du code spécifique, ce qui a fini par avoir des répercussions sur le support de PostgreSQL :-) Sans parler de la surcharge de travail, supporter MySQL empêchait de profiter pleinement de PostgreSQL. L'équipe cite par exemple le besoin d'utiliser la directive LATERAL JOINT de PostgreSQL pour optimiser les événements de tableaux de bord, mais cette directive n'existe pas sous MySQL.

La décision d'abandonner MySQL n' a pas été facile, souligne GitLab, mais elle est prise et sera effective dès la sortie de GitLab 12.1. Pour mémoire GitLab vient de sortir en version 12.0.

GitLab publie un guide de migration de MySQL vers PostgreSQL à l'attention de ses clients et utilisateurs.

PostgreSQL 12 bêta

Soumis par fredericmazue le

Le groupe de développement global de PostgreSQL vient d'annoncer la première version bêta de PostgreSQL 12 et encourage tous les utilisateurs à en tester les nouvelles fonctionnalités, de façon à aider à éliminer les bogues ou autres problèmes pouvant exister.

La note de version de PostgreSQL est très volumineuse. Mais dans son annonce, l'équipe met surtout en avant des améliorations notables de performances. Notamment :

PostgreSQL 12 améliore les performances globales des index B-tree standard, ainsi que la gestion de l'espace de ces index. Ces améliorations permettent également de réduire la taille de l'index pour les index B-tree fréquemment modifiés, en plus d'un gain de performances.

De plus, PostgreSQL 12 ajoute la possibilité de reconstruire les index simultanément, ce qui vous permet d’effectuer une opération de reconstruction d'index (REINDEX) sans bloquer les écritures sur l’index. Cette fonctionnalité devrait vous aider avec les reconstructions d'index longues qui pourraient causer des temps d'arrêt lors de la gestion d'une base de données PostgreSQL dans un environnement de production.

A remarquer encore, toujours au niveau des performances : PostgreSQL 12 améliore les performances lors du traitement de tables avec des milliers de partitions pour des opérations nécessitant uniquement l'utilisation d'un petit nombre de partitions.

Le code source de ProsgresSQL 12 bêta peut être téléchargé ici.

Sortie de PostgreSQL 11

Soumis par fredericmazue le

Le PostgreSQL Global Development Group vient d'annoncer la sortie de PostgreSQL 11.

PostgreSQL 11 propose des améliorations globales de performance ainsi que des avancées spécifiques pour les bases de données à très gros volume ou à très gros trafic. De plus, PostgreSQL 11 a amélioré de manière importante le système de partitionnement, a ajouté la possibilité de gérer les transactions au sein des procédures stockées et étend les possibilités autour du parallélisme tant au niveau de l'exécution des requêtes qu'au niveau de la définition des données.
Les cas où le parallélisme pourra être utilisé pour répondre plus rapidement à une requête ont également été élargis et le Just-in-Time (JIT) a été introduit, permettant d’injecter une expression précompilée directement dans la requête.

"Pour PostgreSQL 11, notre communauté de développeurs s'est concentrée sur l'ajout de fonctionnalités pour améliorer la gestion de très grosses bases" a dit Bruce Momjian, un membre de la core team du PostgreSQL Global Development Group. "Ainsi, en plus de son excellente gestion de bases transactionnelles, PostgreSQL 11 simplifie la gestion d'applications big data, même à très grande échelle."

Forte de plus de vingt ans de développement open source, PostgreSQL est devenu une des bases de données open source préférée des développeurs. Le projet séduit toujours plus le monde professionnel et a été nommé "SGBD de l’année 2017" par DB-Engines et est dans le palmarès du SD Times 100.

PostgreSQL 11 est la première version majeure depuis la sortie de Postgres 10, le 5 octobre 2017. La prochaine mise à jour mineure (contenant uniquement des correctifs) pour PostgreSQL 11 sera la version 11.1 et la prochaine version majeure (avec de nouvelles fonctionnalités) sera PostgreSQL 12.

Fiabilité et performance accrues pour le partitionnement

PostgreSQL 11 ajoute la possibilité de partitionner une table par hashage de clé aux autres possibilités de partitionnement (par listes de valeur ou par intervalles). De plus, PostgreSQL 11 augmente la convergence des données avec de nombreuses améliorations du partitionnement sur les Foreign Data Wrappers, postgres\_fdw.

Pour faciliter la maintenance sur les partitions, PostgreSQL 11 introduit une partition par défaut pour les données ne correspondant à aucune partition, ainsi que la possibilité de créer des clés primaires, clés étrangères, index et triggers qui seront automatiquement applicables sur l'ensemble partitions.
PostgreSQL 11 supporte aussi le changement automatique de partition si la clé de partitionnement est mise à jour pour une ligne spécifique et que cela impose un changement de partition.

PostgreSQL 11 améliore aussi les performances lors de la lecture des partitions grâce à une nouvelle stratégie plus efficace d’élimination de partition. De plus, PostgreSQL 11 supporte maintenant l’"upsert" sur les tables partitionnées, ce qui simplifie le code des applications et réduit l’utilisation du réseau.

Gestion des transactions dans les procédures stockées

Les développeurs peuvent créer des fonctions spécifiques dans PostgreSQL depuis plus de 20 ans, mais avant PostgreSQL 11, ces fonctions ne pouvaient pas gérer leurs propres transactions. PostgreSQL 11 apporte les procédures SQL qui permettent de gérer complètement les transactions dans le corps de la fonction, ce qui permet aux développeurs de déporter des traitements avancés sur le serveur de base de données, notamment pour tout ce qui implique du chargement incrémental de données brutes.

Les procédures SQL peuvent être créées en utilisant la commande `CREATE PROCEDURE`, être exécutées en utilisant la commande `CALL` et peuvent,  pour l'instant, être écrites dans les langages PL/pgSQL, PL/Perl, PL/Python, et PL/Tcl.

Amélioration du parallélisme des requêtes

PostgreSQL 11 améliore les performances du parallélisme avec des gains de performances pour les parcours séquentiels parallèles et pour les hash joins tout en permettant des parcours plus efficaces des données partitionnées. PostgreSQL peut maintenant exécuter un `SELECT` avec `UNION` en parallèle dans le cas où les requêtes impliquées ne peuvent pas être parallélisées.

PostgreSQL 11 permet aussi de paralléliser plusieurs requêtes de modification de schéma, notamment la création d’index B-tree générés par l’exécution de la commande standard `CREATE INDEX`. Plusieurs commandes de modification de structure, qu’elles créent des tables ou des vues matérialisées à partir de requêtes, peuvent maintenant être parallélisées, comme `CREATE TABLE .. AS`, `SELECT INTO` et `CREATE MATERIALIZED VIEW`.

Compilation Just-in-Time (JIT) pour les expressions

PostgreSQL 11 introduit la prise en charge de la compilation Just-In-Time (JIT) pour accélérer l’exécution de certaines expressions durant l’exécution d’une requête.
La compilation d’expressions JIT pour PostgreSQL utilise le travail du projet LLVM pour accélérer l’exécution d’expressions dans les clauses `WHERE`, les listes cibles, les agrégats, les projections et pour certaines opérations internes.

Pour pouvoir utiliser la compilation JIT, vous devrez installer la dépendance LLVM puis activer la compilation JIT soit dans le fichier de configuration (`jit = on`), soit durant votre session en exécutant `SET jit = on`.

Améliorations générales de l’expérience utilisateur

Les améliorations de PostgreSQL ne seraient pas possibles sans les retours que nous recevons d’une communauté d’utilisateurs très active ni sans le dur travail des personnes contribuant au projet PostgreSQL. Vous trouverez ci-dessous quelques fonctionnalités de PostgreSQL développées pour améliorer globalement l’expérience utilisateur, mais sachez qu’il y en a de très nombreuses autres :

- L’ordre `ALTER TABLE .. ADD COLUMN .. DEFAULT ..` avec une valeur par défaut non `NULL` n’a plus besoin de réécrire entièrement la table lors de son exécution, ce qui entraîne une grosse amélioration des performances ;

- Il est désormais possible de créer un index "couvrant" en ajoutant une ou plusieurs colonne(s) à un index existant dans la clause `INCLUDE`. Ce type d’index est très utile pour avoir des index-only scans dans les plans d’exécution, surtout sur les types de données non indexables par des index B-tree ;
- De nouvelles fonctionnalités pour les fonctions de fenêtrage sont ajoutées, dont permettre l’utilisation de `RANGE` dans des clauses `PRECEDING`/`FOLLOWING`, `GROUPS` ou d’exclusion ;
- Ajout des commandes "quit" et "exit" dans le client ligne de commandes de PostgreSQL (psql) pour faciliter la sortie.

Pour une liste complète des fonctionnalités de cette nouvelle version, vous pouvez lire les notes de version

PostgreSQL : Dalibo élargit son offre de service et lance son programme de certification !

Soumis par fredericmazue le

Dalibo, un spécialiste français de PostgreSQL, dévoile aujourd’hui son programme de certification « Dalibo Postgres Certification » qui sera accessible dès mai 2018. Capitalisant sur une expertise développée au service d’entreprises dont les données métier reposent sur PostgreSQL, Dalibo propose désormais à tous les professionnels francophones de faire valoir leurs compétences et de devenir « Dalibo Essential Professional » ou « Dalibo Advanced Professional ». Ce faisant, Dalibo entend enrichir l'écosystème, accroître les compétences liées à PostgreSQL et leur valeur, tout en accélérant l’adoption et le développement du système de gestion de base de données open source.

Faire valoir ces compétences tout en démontrant une nouvelle fois son engagement pour PostgreSQL est l’ambition du programme de certification PostgreSQL initié par Dalibo.

« Depuis la circulaire Ayrault de septembre 2012, la notoriété du PostgreSQL n’a cessé de croître. Récemment de nombreuses entreprises et administrations françaises utilisatrices de PostgreSQL ou formellement appel aux éditeurs logiciels pour qu’ils supportent le SGBD. Aujourd’hui, il est important que des experts valident les compétences des administrateurs de bases de données PostgreSQL pour que ce savoir-faire soit valorisé. Nous souhaitons permettre à un maximum de personnes qualifiées de voir leur expertise reconnue et certifiée. » explique Jean-Paul Argudo, Gérant de Dalibo.

Le programme de certification est composé de deux niveaux couvrant l’essentiel du cursus de formation PostgreSQL (de la DBA1 à la DBA5 ainsi que la SQL1) :

  • Essential
  • Advanced (nécessaire de passer la certification « essential » avant)

L’examen dure 2 heures, et se compose de 100 questions conçues par les experts Dalibo, « différents tests d’équilibrage et de complexité ont été effectués afin d’obtenir une certification répondant parfaitement à nos attentes en matière de variété et de difficulté du questionnaire. » précise Jean-Paul Argudo. La certification inclut, pour le moment, toutes les versions supportées jusqu'à la version 10. Chaque passage de la certification est tarifé à 200€.

La certification est adressée à toute personne souhaitant exercer une activité professionnelle impliquant PostgreSQL, ou à toute entreprise souhaitant s’assurer des compétences de ses salariés. A la suite de l’examen, les « Dalibo Essentiel Professional » et les « Dalibo Advanced Professional » verront leur profil affiché sur le site certification.dalibo.com et pourront utiliser le badge de la certification sur leur CV.

Pour se préparer à la certification, Dalibo propose deux cursus de formations en interne et intra-entreprise, de DBA1 à DBA5 et de SQL1 à SQL5, couvrant tous les niveaux de connaissance autour de PostgreSQL – de l’installation, à la restauration des données en passant par l’optimisation des bases de données. L’examen peut également être préparé en autoformation à l’aide des manuels de formations donc l’accès immédiat et gratuit peut être effectué via le lien suivant : https://www.dalibo.com/formations

Les premières sessions d’examens seront annoncées très prochainement !

Tout professionnel intéressé par la certification est invité à consulter le site web des certifications ou à nous contacter par mail : certification -at dalibo.com.

DALIBO fait don de ses supports de formation à la communauté

Soumis par fredericmazue le

DALIBO, spécialiste français de PostgreSQL, a décidé de rendre publique l'ensemble de ses manuels de formation PostgreSQL. L’ambition de Dalibo est de donner accès au plus grand nombre à une documentation complète et de qualité. Cette mise à disposition s’inscrit dans un contexte d’accroissement de la demande en compétences PostgreSQL de la part des entreprises.

Le système de gestion de base de données open source PostgreSQL connait un succès grandissant à l’échelle mondiale et le marché français n’est pas en reste. Inspirées par la circulaire Ayrault de 2012 et incitées par la gratuité, la maturité et la gouvernance open source de la solution, les entreprises et les administrations publiques migrent vers ce SGDB (système de gestion de bases de données) qui les met à l’abri des dérives inhérentes aux solutions propriétaires. Les récentes déclarations du PGGTIE* ( Groupe de Travail Inter-Entreprises PostgreSQL, rassemblant plus de 20 participants issus d'organismes publics, d'entreprises du CAC40, de start-up) en faveur du support de PostgreSQL par les éditeurs logiciels devrait accélérer le mouvement dans les prochaines années.

« L’adoption croissante et rapide de PostgreSQL génère un fort besoin de support technique. », explique Jean-Paul Argudo, Gérant de Dalibo. « Après avoir mis en place le programme DBA PostgreSQL, qui consistait en la création d’un pool d’Administrateurs de Bases de Données indépendant formés gratuitement et certifiés par Dalibo, nous franchissons une étape supplémentaire en fournissant l’accès à l’intégralité de ses supports de formation et à l’ensemble de nos manuels de formation. Nous espérons que cette contribution servira les besoins de l’écosystème dans son ensemble. »

A travers ce geste, l’entreprise montre à nouveau son engagement pour PostgreSQL et souhaite aider les novices, les administrateurs de bases de données (DBA) Oracles, ou autres DBA à comprendre le fonctionnement interne de PostgreSQL pour mieux appréhender son utilisation.

L’ensemble des supports, régulièrement actualisé, représente le travail de plusieurs années. En cas d’évolution, les versions les plus récentes des documents seront mises à disposition.

Les manuels sont composés de 10 formations, réparties en 3 cursus (Admin, Développement). Parmi les documents, on comptera par exemple :

  • Administration PostgreSQL
  • SQL Migrer d’Oracle vers PostgreSQL

La liste complète des formations peut être consultée sur www.dalibo.com/formations

Les supports de formations seront disponibles au format PDF, EPUB sous licence Creative Commons CC BY NC SA, ce qui signifie que les supports peuvent être utilisés et modifiés à des fins non commerciales, à condition d'en créditer l'auteur et de les rediffuser selon les mêmes conditions.  L’ensemble des manuels de (hormis le cursus SIG) seront disponible, sans limite de temps, dès aujourd’hui via le lien suivant :

https://cloud.dalibo.com/p/exports/formation/manuels/formations

*parmi les participants :  Air France, Carrefour, CASDEN, CNES, EDF, GIE AGORA (MSA), ISOCEL (Leclerc), MAIF, Météo France, Ministère de l'Education Nationale, PeopleDoc, SNCF, Société Générale et Tokheim Services Group

Commentaire actu

9ème PostgreSQL Session : une nouvelle journée de conférences dédiées à PostgreSQL

Soumis par fredericmazue le

Alors que PostgreSQL 10, la nouvelle version du système libre de gestion de bases de données de référence vient d’être rendue disponible, Dalibo organise la 9ème PostgreSQL Session, une occasion pour les membres de la communauté et les utilisateurs d’obtenir des informations de première main sur l’évolution de PostgreSQL.

Tandis que la distribution des données sur plusieurs nœuds fait l’objet d’améliorations notables, PostgreSQL 10 s’impose comme une étape majeure dans la progression du projet open source.

Avec cette version, PostgreSQL n'est plus seulement l'alternative open source à Oracle, mais devient le point de référence du marché des bases de données.

La prochaine PostgreSQL Session se propose de revenir sur l’importance grandissante de PostgreSQL, mais aussi de découvrir ou redécouvrir des projets majeurs qui participent au succès d’adoption présente et future de PostgreSQL. Elle sera également l’occasion de faire le point sur les offres PostgreSQL en mode cloud.

Au programme de cette journée :

  • Olivier Courtin [Data Pink] - Python DataScience Frameworks integration with PostgreSQL
  • Thibaut Madelaine [Dalibo] - Mixons les nouveautés PostgreSQL 10 : partitionnement déclaratif et réplication logique
  • Fabien Coelho [CRI, Mines ParisTech] - Pgbench WIP (tests benchmark sur PostgreSQL)
  • Lætitia Avrot [Loxodata] - Sauvez le monde avec PITR (Point In Time Recovery)
  • Thomas Poindessous [SKALE-5] - PostgreSQL en DBaaS : comparatif des offres Cloud Public
  • Etienne Bersac [Dalibo] - Synchroniser les rôles depuis LDAP avec ldap2pg

A noter également la présence d’acteurs emblématiques de la communauté, les experts PostgreSQL de la société Russe PostgresPro : Oleg Bartunov, Alexander Korotkov. Développeurs et commiters PostgreSQL de longue date, membres de la “Core Team PostgreSQL”, ils animeront deux conférences sur les thèmes :

« Impact de PostgresPro sur la performance de PostgreSQL »  et "Sociétés PostgreSQL entre interactions et compétition »

Occasion de rencontrer les membres de la communauté PostgreSQL tout en participant à des interventions de qualité, cette 9ème session est gratuite et ouverte à tous. Les inscriptions se font à cette adresse : www.postgresql-sessions.org/9/registration_form

Vendredi 17 novembre 2017 9h30 - 17h30

Pan Piper 
impasse Lamier 
75011 Paris