PostgreSQL

De nouveaux correctifs importants pour PostgreSQL

Soumis par fredericmazue le

Le PGDG publie aujourd'hui de nouveaux correctifs pour toutes les branches supportées du SGBD PostgreSQL. Il s'agit d'une mise à jour pour toutes les versions supportées du SGBD, soit les versions 9.4.4, 9.3.9, 9.2.13, 9.1.18 et 9.0.22.
Cette mise à jour a pour but principal de corriger les bogues qui n'ont pas été corrigés par les mises à jour précédentes. Il est impératif de les appliquer immédiatement pour les utilisateurs ayant déjà appliqué les mises à jour de mai et juin. Les autres utilisateurs pourront attendre le prochain arrêt de service programmé.

Correctifs des récupérations en cas de panne

Les mises à jour précédentes ont tenté de corriger un problème de "multixact wraparound" (ou bouclage d'identifiant de transactions multiples) sur les versions 9.3 et 9.4 de PostgreSQL.
Mais elles n'ont pas corrigé le nettoyage des transactions multiples lors de récupération après crash. Cela peut empêcher un serveur de redémarrer après un crash. C'est pourquoi il est recommandé aux utilisateurs de ces versions de procéder à la mise à jour le plus vite possible.

Les serveurs précédemment passés en version 9.3 avec pg_upgrade, ou ceux qui tournent en 9.4, suite à une autre mise à jour, peuvent voir tourner un
autovacuum sur l'ensemble des tables immédiatement après l'application de l'actuelle mise à jour. Si les bases sont volumineuses, il peut être plus judicieux de procéder à un VACUUM manuel, avant la mise à jour, pour maîtriser les performances suite à cette maintenance.
N'hésitez pas à consulter les notes de versions pour les détails ( http://www.postgresql.org/docs/9.4/static/release-9-3-9.html ).

Autres correctifs et améliorations

En plus des correctifs précédents, quelques autres correctifs ont été appliqués à cette version. On trouve :

  • le correctif des rares cas ou l'invalidation du cache des relations n'était
  • pas effectué ;
  • la suppression des verrous morts entre de nouvelles sessions et un
  • CREATE/DROP DATABASE ;
  • l'amélioration de la planification des requêtes pour les semi-jointures et
  • anti-jointures.

Mises à jour cumulatives

Toutes les mises à jour de PostgreSQL sont cumulatives. Comme cette mise à jour fixe un certain nombre de problèmes malencontreusement apportées par les mises à jour précédentes, il est préférable d'installer directement cette mise à jour plutôt que les précédentes. Comme cette mise à jour clôt plusieurs bogues de gestion des transactions multiples, le projet PostgreSQL ne prévoit pas de nouvelles mises à jour prochainement.

Application de la mise à jour

Comme pour les autres mises à jour, il n'est pas nécessaire de procéder à l'export et au réimport des données, ou d'utiliser pg_upgrade. Il suffit d'installer les nouveaux binaires et de redémarrer PostgreSQL. Au cas où des mises à jour mineures auraient été omises, il peut y avoir des opérations supplémentaires à effectuer. Toutes les informations se trouvent
dans les notes de versions. Voir également les informations complémentaires en cas de passage à la version 9.3 avec pg_upgrade.

Liens :
Téléchargement : http://www.postgresql.org/download
Notes de version : http://www.postgresql.org/docs/current/static/release.html

PostgreSQL 9.4.3 corrige le bug lié à l'appel à fsync

Soumis par fredericmazue le

Une nouvelle mise à jour de PostgreSQL est disponible. Cette version corrige principalement le bug sur les permissions de fichiers introduit lors de la mise à jour précédente.

Cette mise à jour concerne toutes les branches de PostgreSQL actuellement
maintenues. Les nouvelles versions de PostgreSQL à utiliser sont les versions 9.4.3, 9.3.8,
9.2.12, 9.1.17, et 9.0.21

Il est recommandé de mettre à jour les installations de PostgreSQL vers la
dernière version mineure dès que possible.

Le support de la branche 9.0 devrait prendre fin en septembre 2015, il est donc
recommandé d'envisager la migration des serveurs utilisant encore cette branche
vers une branche plus récente de PostgreSQL d'ici là.

Plus d'informations : http://www.postgresql.org/about/news/1590/

PostgreSQL : Bug des droits fsync suite aux derniers correctifs

Soumis par fredericmazue le

Le 22 mai 2015, le projet PostgreSQL a publié un ensemble de mises à jour pour toutes les versions supportées de PostgreSQL. 

Un des correctifs apportés par ces mises à jour forçait un appel à fsync pour tous les fichiers de PostgreSQL lors d’un redémarrage suite à un crash. Ce correctif a été ajouté pour empêcher certains types de corruption de données qui peuvent se produire lorsque le système hébergeant la base de données subit plusieurs pannes d’affilée.

Malheureusement, ce correctif pose des problèmes sur certaines installations de PostgreSQL en raison de droits sur les fichiers, qui peuvent empêcher PostgreSQL de redémarrer après un arrêt inattendu, ou lors d’une restauration de sauvegarde binaire (PITR).

Dalibo, expert français de PostgreSQL, propose des solutions aux utilisateurs confrontés à ce bug :

Qui est concerné par ce bug ?

Les utilisateurs qui:

  • ont appliqué les mises à jour 9.4.2, 9.3.7, 9.2.11, 9.1.16 ou 9.0.20 ;
  • ont un ou plusieurs fichiers, répertoires, ou lien symboliques n’appartenant pas à l’utilisateur postgres (ou tout utilisateur possédant l’instance) situés dans le répertoire de données PostgreSQL (PGDATA).

Le second critère est répandu sur les installations de PostgreSQL activant SSL sur Debian et Ubuntu, pour les versions 9.1, 9.0 et antérieures, mais d’autres utilisateurs peuvent être affectés aussi. La plupart des utilisateurs sur d’autres plateformes ne sont pas impactés, puisque tous les fichiers et liens dans PGDATA appartiennent à l’utilisateur système postgres par défaut.

Quels sont les symptômes ?

Si vous êtes victime de ce bug, PostgreSQL refusera de redémarrer après un crash, ou de restaurer depuis une sauvegarde binaire, avec un message d’erreur ressemblant à celui-ci :

* Starting PostgreSQL 9.1 database server* The PostgreSQL server failed to start. Please check the log output:2015-05-26 03:27:20 UTC [331-1] LOG:  database system was interrupted; last known up at 2015-05-21 19:56:58 UTC2015-05-26 03:27:20 UTC [331-2] FATAL:  could not open file "/etc/ssl/certs/ssl-cert-snakeoil.pem": Permission denied2015-05-26 03:27:20 UTC [330-1] LOG:  startup process (PID 331) exited with exit code 12015-05-26 03:27:20 UTC [330-2] LOG:  aborting startup due to startup process failure

Pour plus d’informations, consulter le rapport de bug initial : http://www.postgresql.org/message-id/20150525142657.4686.35151@wrigleys.postgresql.org

Je suis affecté par ce bug, et n’arrive pas à redémarrer PostgreSQL, que puis-je faire ?

Un contournement temporaire consiste à modifier les droits de tout fichier pointé par un lien symbolique pour donner le droit d’écriture à l’utilisateur système postgres. Par exemple, sur Ubuntu avec PostgreSQL 9.1, les étapes suivantes permettent de corriger le problème :

# (en tant que root)cd /var/lib/postgresql/9.1/main# Suppression des liens symboliques vers les certificats SSLrm server.crtrm server.key  # copie des certificats SSL vers le répertoire localcp /etc/ssl/certs/ssl-cert-snakeoil.pem server.crtcp /etc/ssl/private/ssl-cert-snakeoil.key server.key # positionnement des droits sur les certificats SSL,# et transfert de la propriété des fichiers à l'utilisateur postgres pour le reste,# par principe de précaution.chown postgres *chmod 640 ssl*

service postgresql start

Bien entendu, l’exemple précédent est à adapter à votre situation personnelle. L’objectif est de donner l’accès en écriture à l’utilisateur système postgres à l’ensemble des fichiers, ou fichiers pointés par des liens symboliques, résidant dans le répertoire PGDATA.

Dois-je éviter cette mise à jour ?

Les mises à jour 9.4.2 et 9.3.7 corrigent un bug conséquent causant des pertes de données irrécupérables sous certaines conditions. En tant que tel, le projet PostgreSQL considère que le risque lié au contournement temporaire sur les droits de fichiers est bien moins important que les bugs corrigés, et recommande donc d’appliquer les mises à jour une fois les droits vérifiés et corrigés si nécessaire.

Les utilisateurs qui ne sont pas concernés par le problème lié à fsync sont également encouragés à appliquer la mise à jour lors de la prochaine période de maintenance.

Cela sera-t-il corrigé rapidement ?

La communauté PostgreSQL prévoit une nouvelle mise à jour imminente pour tenir compte du problème de droits sur le fichier. La date de sortie est estimée au 4 juin.

PGDay 2015 à Belfort

Soumis par fredericmazue le

Le 2 juin 2015 aura lieu le PGDay 2015 à Belfort, organisé par la communauté francophone de PostgreSQL, et soutenu par l'association PostgreSQL Europe. Cet événement se déroulera à la Chambre de Commerce et d'Industrie du Territoire de Belfort. Il s'agit d'une journée de conférences et d'échange autour de PostgreSQL.
Cet événement sera orienté sur des retours d'expériences d'utilisation ou de migration vers PostgreSQL.

Plus d'informations sont disponibles sur le site :
http://select-2-6-2015-as-pgday.org/

Le programme est désormais publié :
http://select-2-6-2015-as-pgday.org/programme.html

Et les inscriptions sont ouvertes :
http://select-2-6-2015-as-pgday.org/inscription.html

Les organisateurs recherchent des partenaires pour le financement de l'événement.
Deux niveaux de participation sont disponibles.
Vous pouvez retrouver tous les détails sur la page
http://select-2-6-2015-as-pgday.org/sponsors.html

PGDay francophone 2015 à Belfort

Soumis par fredericmazue le

Le 2 juin 2015 aura lieu le PGDay 2015 à Belfort, organisé par la communauté francophone de PostgreSQL, et soutenu par l'association PostgreSQL Europe.

Cet événement se déroulera à la Chambre de Commerce et d'Industrie du Territoire de Belfort. Il s'agit d'une journée de conférences et d'échange autour de PostgreSQL.

Cet événement sera orienté sur des retours d'expériences d'utilisation ou de migration vers PostgreSQL.

Plus d'informations sont disponibles sur le site : http://select-2-6-2015-as-pgday.org/

Un appel à conférences est lancé. L'enregistrement en ligne des propositions de conférences sera ouvert sous peu. L'appel est visible sur le site de l'événement : http://select-2-6-2015-as-pgday.org/programme.html

Les organisateurs recherchent des partenaires pour le financement de l'événement. Deux niveaux de participation sont disponibles. Vous pouvez retrouver tous les détails sur la page http://select-2-6-2015-as-pgday.org/sponsors.html

PostgreSQL - Architecture et notions avancées : un livre en version bêta

Soumis par fredericmazue le
Image

Il manquait à PostgreSQL un livre complet sur son fonctionnement interne, comme il en existe sur Oracle. Guillaume Lelarge, contributeur majeur de PostgreSQL, consultant chez Dalibo, comble cette absence avec son ouvrage PostgreSQL – Architecture et notions avancées. Une entreprise de longue haleine, que le lecteur pourra accompagner et dont il pourra profiter du résultat au fur et à mesure grâce à la publication du livre en version bêta.

Il ne s'agit pas d'un manuel ordinaire, qui vous explique comment installer et exploiter une base de données PostgreSQL. L'esprit est autre. Partant du principe que pour maîtriser l'outil vous devez comprendre comment il fonctionne, Guillaume Lelarge ouvre le capot et vous montre à quoi servent les différentes pièces et comment elle s'imbriquent les unes aux autres ; il décortique les mécanismes et vous permet ainsi de comprendre le comportement du moteur de bases de données et donc de mieux le configurer et de mieux l'administrer. 

Sa parution en version bêta vous donne la possibilité d'accéder dès maintenant aux contenus déjà écrits. Les chapitres suivants vous seront livrés au fur et à mesure de leur achèvement. Cette formule déjà expérimentée par les éditions D-BookeR présente l'avantage de rendre plus rapidement disponible l'information sur des sujets peu documentés et de permettre aux lecteurs de remonter leurs remarques à l'auteur.

Sommaire

1. Instance
2. Fichiers
3. Contenu physique d'une relation
4. Architecture des processus
5. Architecture mémoire
6. Protocole de communication
7. Gestion des connexions
8. Gestion des transactions
9. Gestion des objets
10. Planification des requêtes
11. Sauvegarde
12. Réplication
13. Statistiques
14. Maintenance
15. Sécurité

La version finale intègrera les changements effectués par la version 9.5.

Commentaire actu

Rencontre PostgreSQL à Lyon le mercredi 14 janvier 2015

Soumis par fredericmazue le

Le mercredi 14 janvier 2015 de 19h à 22h, aura lieu une rencontre du PLUG (PostgreSQL Lyon User Group), à l'Antre Autre, au 11 rue Terme à Lyon. Ce sera l'occasion de parler de la couche spatiale PostGIS, que nous présentera Vincent Picavet. La présentation cible les néophytes en Systèmes d'Information Géographique, et aussi bien les développeurs que les équipes d'exploitation des données.

Source et plus d'informations : linuxfr.org

Sortie de PostgreSQL 9.4

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce la sortie de PostgreSQL 9.4. Cette version ajoute de nombreuses fonctionnalités qui améliorent la flexibilité, l'évolutivité et les performances de PostgreSQL. Et cela pour de nombreux cas d'utilisation différents, avec notamment l'amélioration du support de JSON, de la réplication et de la performance de l'indexation, ainsi que le souligne l'équipe de développement.

Avec le nouveau type de données JSONB, il n'y a plus besoin de choisir entre le stockage relationnel et non-relationnel : il y a les deux à la fois.

JSONB supporte les recherches rapides et les requêtes de recherche d'expressions simples en utilisant les index de type Generalized Inverted Indexes (GIN).

De nombreuses nouvelles fonctions permettent de manipuler les données JSON, avec des performances qui atteignent voire surpassent les bases de données orientées documents les plus populaires, selon PostgreSQL Global Development Group. 

Avec JSONB, les données en tables peuvent être intégrées à des données de documents pour un environnement de bases de données complètement intégré.

"JSONB rapproche PostgreSQL des développeurs de la communauté JavaScript en permettant aux données JSON d'être stockées et requêtées nativement.  node.js et les autres frameworks JavaScript côté serveur peuvent désormais profiter de la sécurité et de la robustesse de PostgreSQL, tout en continuant à stocker les données dans le format sans schéma qu'ils préfèrent" précise Matt Soldo, Responsable Produit chez Heroku Postgres.

Evolutivité

Avec la 9.4, le décodage logique (Logical Decoding) offre une nouvelle API pour lire, filtrer et manipuler le flux de réplication de PostgreSQL. 

Cette interface est la fondation de nouveaux outils de réplication, comme la réplication bi-directionnelle (Bi-Directional Replication), qui permet la création de grappes de serveur PostgreSQL multi-maître. 

D'autres améliorations dans la réplication système concernent l'administration et l'utilisation des réplicats, notamment les connecteurs de réplication et les réplicats différés.

"La raison principale derrière notre adoption immédiate de PostgreSQL 9.4 en production est la nouvelle fonctionnalité de décodage logique" explique Marco Favale, Responsable de la Production Cartographique chez Navionics.

"La possibilité d'écrire des greffons de sortie personnalisés et flexibles nous permettra de récupérer de manière transparente les modifications sur des tables choisies et de répliquer ces modifications où nous le voulons, tout en supprimant les contraintes relatives aux solutions de réplication basées sur les triggers, lourdes et plus complexes à gérer."

"Zalando dépend de la stabilité et des performances de centaines de serveurs de bases de données PostgreSQL pour satisfaire des millions de clients partout en Europe" dit Valentine Gogichashvili, responsable des opérations bases de données chez Zalando Technologies. "Nous sommes impatients d'utiliser la réplication différée, immédiatement utilisable, et nous allons évaluer les outils de réplication bi-directionnelle dès qu'ils seront disponibles."

Performances

La version 9.4 apporte également de multiples gains de performance, permettant aux utilisateurs de tirer plus d'avantages de leur serveur PostgreSQL dont :

  • des améliorations des index GIN, avec une taille réduite de 50% et une vitesse multipliée par 3 ;
  • des vues matérialisées qui peuvent être mises à jour de manière concurrente, pour du reporting plus rapide et plus à jour ;
  • le rechargement rapide du cache de base de données au redémarrage avec pg_prewarm ;
  • une écriture en parallèle plus rapide des journaux de transaction de PostgreSQL.

"Nous allons vraiment beaucoup gagner avec le rafraichissement concurrent des vues matérialisées, les réplicats différés (qui permettront aux restaurations après incident d'être plus robustes), ainsi qu'avec les améliorations de performances apportées par chaque nouvelle version", ajoute Marco Favale.

Le PostgreSQL Global Development Group a publié la version PostgreSQL 9.4 Release Candidate

Soumis par fredericmazue le

Il s'agit de la première Release Candidate pour la prochaine version de PostgreSQL. Cette version devrait être identique à la version finale de PostgreSQL 9.4, à l'exception des éventuels bogues rencontrés dans les deux prochaines semaines.

Vous êtes invités à la télécharger et de la tester, et au besoin de rapporter les failles rencontrées.

La liste complète des fonctionnalités de la version 9.4 est disponible sur la
page des notes de version : http://www.postgresql.org/docs/devel/static/release-9-4.html.

Les descriptions détaillées et les notes complémentaires concernant les nouvelles fonctionnalités sont disponibles sur la page Wiki des fonctionnalités de la version 9.4 : http://wiki.postgresql.org/wiki/What%27s_new_in_PostgreSQL_9.4 En tête desquelles on trouve que les vues marérialisées peuvent désormais être rafraîchies sans lectures bloquantes.

Le PostgreSQL Global Development Group rappelle l'importance des tests de la communauté pour garantir que cette version est réellement performante et exempte de bogues.
Vos tests en en conditions opérationnelles réelles. Vos retours et critiques sont indispensables aux développeurs.

Les fonctionnalités et API de cette RC1 sont identiques à la 9.4.0 finale, ce qui permet de construire et tester les applications avec celles-là.

Plus d'informations sur la façon de tester et de rapporter les problèmes sur la page suivante : http://www.postgresql.org/developer/beta.

PostgreSQL 9.4 RC1 peut être obtenu en se rendant sur la page : http://www.postgresql.org/download

Cette page inclut les binaires et installeurs pour Windows, Linux et Mac.

La documentation complète de la nouvelle version est disponible en ligne : http://www.postgresql.org/docs/devel/static, et s'installe également avec PostgreSQL.

Une journée de conférences dédiées à PostgreSQL et PostGIS

Soumis par fredericmazue le

La prochaine version majeure de PostgreSQL, la 9.4, est attendue dans les prochaines semaines. Parmi les nouveautés qui ont déjà fait parler d’elles, le format JSON binaire de PostgreSQL (JSONB) a généré un véritable enthousiasme puisqu’il va changer la donne pour les développeurs en permettant un accès JSON rapide et une indexation JSON très flexible, au-delà de ce que permettent les autres bases de données.

Pour découvrir ces nouveautés et comprendre de quelle manière  PostgreSQL s’impose désormais non seulement comme une alternative à Oracle mais aussi bientôt aux bases de type MongoDB, Dalibo et Oslandia organisent à Paris le 25 septembre 2014 une journée de conférences dédiée à PostgreSQL et PostGIS.

Cette session, gratuite et ouverte à tous (inscriptions à cette adresse : http://www.postgresql-sessions.org/6/registration_form), sera l’occasion de rencontrer les membres de la communauté francophone PostgreSQL et PostGIS, tout en participant à des interventions de qualité, animées par des intervenants choisis et experts sur ces thématiques.

Au programme de cette journée :

  • Présentation de PointCloud par Rémi Cura - IGN
  • Nouveautés de PostGIS 2.x par Olivier Courtin - Oslandia
  • Open PostgreSQL Monitoring par Jean-Paul Argudo - DALIBO
  • Analyse spatiale avancée par Nicolas Ribot - Indépendant
  • Migration Oracle Spatial vers PostGIS par Audrey Malherbe - Mappy
  • Nouveautés de PostgreSQL 9.4 par Guillaume Lelarge - DALIBO
  • Versionning avec PostgreSQL par Vincent Picavet - Oslandia
  • Migration d’Oracle Spatial avec ora2pg par Gilles Darold – DALIBO

Par ailleurs, Jean-Paul Argudo, Directeur Général de Dalibo et Damien Clochard, Directeur des Opérations, seront disponibles au cours de cette journée pour évoquer les avancées de PostgreSQL et la stratégie de Dalibo sur le marché français.