MySQL

Oracle introduit MySQL Datbase Service

Soumis par fredericmazue le

Au début de ce mois de septembre 2020, Oracle a présenté MySQL Database Service. MySQL Database Service est le même MySQL que celui que vous connaissez, mais maintenant disponible dans le cloud en tant que service entièrement géré s'exécutant sur Oracle Generation 2 Cloud Infrastructure.

Les utilisateurs peuvent faire évoluer MySQL, surveiller les ressources cloud et mettre en œuvre les meilleures pratiques de sécurité pour répondre aux exigences réglementaires. Les applications client accèdent simplement aux bases de données MySQL via les protocoles MySQL standard. Les tâches administratives typiques sont automatisées, intégrées et accessibles via la console Web OCI, l'API REST, la CLI ou les outils DevOps.

Le service de base de données MySQL est disponible dans plusieurs régions OCI et se développe rapidement.

Oracle souligne que l'un des principaux avantages du service de base de données MySQL est qu'il est développé, géré et pris en charge à 100% par l'équipe d'ingénierie MySQL de chez Oracle.

Google Cloud SQL supporte MySQL 8.0

Soumis par fredericmazue le

Google le promettait depuis deux ans, c'est-à-dire depuis la disponibilité générale de MySQL 8.0. Mais il aura finalement fallu attendre jusqu'à fin août 2020. MySQL 8.0 est désormais disponible sur Google Cloud SQL.

Google Cloud SQL suporte donc au total MySQL 8.0, Mysql 5.7 et Mysql 5.6. Google Cloud SQL supporte aussi les systèmes de base de données PostgreSQL et SQL Server.

Google Cloud SQL fournit 416 Go de RAM et 30 To de stockage pour chaque base de données gérée.

Pour sécuriser la connectivité à une instance MySQL 8.0, les développeurs peuvent utiliser l'accès aux services privés et les contrôles de service VPC, à l'aide de Google Cloud VPC.

Site : cloud.google.com/sql/docs/mysql

GitLab abandonne le support de MySQL

Soumis par fredericmazue le

GitLab abandonne le support de MySQL pour son logiciel éponyme. Pour mémoire GitLab est un logiciel libre de forge basée sur git proposant les fonctionnalités de wiki, un système de suivi des bugs, l’intégration continue et la livraison continue.

GitLab souligne que MySQL est un très bon système de base de données, mais qu'il ne convient pas (ou plus) tout à fait à son cas particulier. Ceci en raison du manque de certaines fonctionnalités dans MySQL comme par exemple les index partiels.

Pour supporter MySQL, l'équipe de GitLab devait écrire du code spécifique, ce qui a fini par avoir des répercussions sur le support de PostgreSQL :-) Sans parler de la surcharge de travail, supporter MySQL empêchait de profiter pleinement de PostgreSQL. L'équipe cite par exemple le besoin d'utiliser la directive LATERAL JOINT de PostgreSQL pour optimiser les événements de tableaux de bord, mais cette directive n'existe pas sous MySQL.

La décision d'abandonner MySQL n' a pas été facile, souligne GitLab, mais elle est prise et sera effective dès la sortie de GitLab 12.1. Pour mémoire GitLab vient de sortir en version 12.0.

GitLab publie un guide de migration de MySQL vers PostgreSQL à l'attention de ses clients et utilisateurs.

Oracle Code : suite du résumé

Soumis par francoistonic le
Image
Image

La journée Oracle Code, du 3 juillet dernier, a été l’occasion de voir les logiciels et plateformes Oracle en oeuvre et les dernières nouveautés et tendances. Parmi les sessions intéressantes, nous pouvions voir MySQL Document Store. MySQL gère le stockage orienté document avec un soupçon de SGBDR, de NoSQL et de JSON Document. JSON Document est un objet avec une structure de données. Cette structure est implicite dans le document. Il est compact et standardisé. Ce format est supporté par défaut dans MySQL (via ECMA-404). De nombreuses fonctions lui sont rattachées : recherches ou encore agrégations, avec la possibilité de faire des requêtes. MySQL 8 rajoute d’ailleurs quelques fonctions à la partie JSON. 

La partie Document Store est un élément non négligeable dans la base de données. Il ne possède pas de schéma (schemaless), il possède une structure de données flexible et bien entendu, il est JSON « ready ». Et on peut lui appliquer le principe CRUD : création, lecture, mise à jour et suppression. MySQL veut concilier, comme d’autres bases, le monde SQL et NoSQL. Pour ce faire, on dispose, sur la partie Document Store de plusieurs composants pour les développeurs : MySQL X Plugin, X Protocole, cluster InnoDB, de nouvelles API, d’un shell MySQL et des connecteurs. Si on résume, MySQL supporte donc le modèle hybride relationnel et NoSQL avec différents moteurs et de modèles de stockages.

Comme vous le savez, Oracle possède son offre de Cloud public : Oracle Cloud. Une des sessions permettait de voir comment utiliser Terraform, et donc l’infrastructure as code dans ce contexte et avec l’idée de DevOps (il faut bien le caser quelque part -:)). Terraform est un outil d’infra as code avec des versions open source et entreprises. La session a permis d’installer l’outil dans le cloud infrastructure d’Oracle puis de voir comment on crée son code d’infrastructures. Mieux vaut regarder les sessions en replay. 

Autre session qui nous a bien intéressé : the path to pair programment in Che with Atom Teletype. Le speaker rappelle quelques fondamentaux sur Eclipse Che : il s’agit d’une version de l’IDE avec une interface web, des espaces de travail dans des conteneurs eux-mêmes pouvant s’exécuter avec un langage serveur tel que Eclipse JDT. L’outil supporte LSP, Language Server Protocol que l’on retrouve aussi dans Visual Studio. La partie co-édition du code a été la partie centrale de la session.

L’idée est de faire de l’édition de projets / codes à la Google Docs. Il s’agit de faire collaborer les développeurs pour faire du mentorat de code, des revues de code ou de l’édition commune. Atome Teletype est une extension aux éditeurs Atom pour faire du pair programmation et de l’édition concurrente en direct. On dispose de plusieurs librairies : teletype-client, teletype-server et teletype-crdt avec une partie communication basée sur CRDT (conflit-free replicated data type) et WebRTC. Typiquement, avec Teletype, on dispose d’un portail host et x invités. Il s’occupe de partager la session de programmation et partage les fichiers du portail host. Si vous ne connaissez, jetez-y un coup d’oeil. 

Java a été un thème central de la journée. Parmi les sessions, on pouvait voir « boîte à outils mémoire de la JVM ». Ah la fameuse gestion mémoire, on pourrait en écrire des livres dessus. Il existe des mécanismes pour mesurer les performances, définir la taille mémoire. Par exemple, vous pouvez activer les logs du ramasse-miettes. Combien de développeurs Java y pensent ? En JRE 8, on peut utiliser le Parallèle GC. jVisualVM est un autre outil pour visualiser la mémoire de la JVM. Vous pouvez regarder du côté de GCViewer, les logs (pensez aux logs, je l’ai peut être dit plus haut). Pour éviter un out of memory error (on l’adore toutes et tous ce truc), augmentez la taille de la heap, redémarrer de temps en temps la JVM (ben si, pour la purger et la remettre en état). En tout cas, une session que nous vous recommandons !

Terminons par la session : accelerated Oracle JET - Visual JavaScript / HTML5 Cloud Development. Le développement web c’est un peu bord… la jungle : backbone, jQuery, metteur, Angular, React, etc. Oracle JET est un toolkit open source orienté entreprise pour vous aider à développer en JS, HTML5 et REST. Il supporte de nombreuses librairies open source comme Knockout.js, jQuery, Hammer, RequireJS. Et Oracle a introduit ses propres librairies : composants UI, modèles, internationalisation, responsive, etc. L’outil peut donc servir à développer des applications mobiles. L’idée de base est de proposer un développement visuel : approche low code, utiliser les technologies les plus récentes, focus sur les applications métiers. Bien entendu, on peut manipuler directement le code, ajouter la logique que l’on souhaite, étendre la plateforme (via des composants UI ou des librairies JS). 

Découvrez l’ensemble des sessions d’Oracle Code : https://developer.oracle.com/code/paris-june-2018

François Tonic

MySQL 8.0 est en Release Candidate

Soumis par fredericmazue le
Image

L'équipe de développement de MySQL vient d'annoncer la disponibilité de MySQL 8.1 en Release Candidate. Une mouture qui rend MySQL meilleur pour les applications modernes, souligne le billet d'annonce.

Une application moderne est avant tout une application mobile, explique l'équipe de développement, c'est-à-dire une application qui tient compte de la localisation de son utilisateur et du fait qu'il faut réduire au maximum le nombre de clics qu'il doit effectuer. Sur cette base, MySQL apporte de nombreuses nouveautés, dont voici les plus remarquables selon nous.

Un support JSON amélioré

L'usage de JSON, qui est au départ le format de données pour le langage JavaScript, tend à généraliser, d'où l'importance de soigner son support pour l'équipe de MySQL. Ainsi arrive une fonction permettant de vérifier la taille, en terme d'espace disque, d'une données JSON. Arrivent des fonctions qui permettent d'agréger des tableaux et des objets, et arrive le support des plages de données (ranges). Ce qui permet d'extraire des éléments précis d'un tableau. Par exemple :

Du NoSQL dans MySQL

Le Document Store, introduit avec MySQl 7.5, permet de travailler avec des API NoSQL pour la lecture, l'écriture, la modification et l'effacement des données, tout en gardant la consistance des données. Le développeur n'est pas obligé d'abandonner SQL pour autant, car il reste possible d'accéder aux données du Docuement Store par ce moyen.

Unicode 9

Avec l'internationalisation des applications, l'usage d'Unicode, et en particulier d'UTF-8, tend à se généraliser. MySQL 8.0 supporte le dernier standard Unicode 8 et laisse tomber (enfin...) latin1 comme jeu de caractères par défaut. Le jeu de caractères par défaut est désormais utf8mb4. Désormais, vos résultats de requêtes peuvent afficher des émojis :-)

Une vulnérabilité critique découverte dans MySQL

Soumis par fredericmazue le

Cette vulnérabilité a été découverte par le chercheur Dawid Golunski qui la décrit en détail dans un billet. Une preuve de concept (limitée fort heureusement) est également donnée dans ce billet.

La vulnérabilité, si exploitée, permet d'exécuter du code arbitraire à distance avec les privilèges root, via une attaque par injection SQL. Tous les systèmes MySQL 5.5, 5.6, 5.7 dans leur configuration par défaut sont vulnérables.

Le fond du problème est que quand MySQL est lancé classiquement, par /etc/init.d/mysql start, ou service mysql start ou encore systemctl start mysql, le script wrapper mysqld_safe est lancé avec les droits de root, ainsi que chacun peut facilement le vérifier :

ps -ef | grep mysql
root      7638     1  0 Feb17 ?        00:00:00 /bin/sh /usr/bin/mysqld_safe
mysql     8071  7638  5 Feb17 ?        11-18:55:41 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --log-error=/var/log/mysql/error.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306

Or ce script wrapper, aindi que chacun peut le vérifier en lisant son code, peut charger, selon la configuration de /etc/my.cnf (ou autre fichier de configuration de MySQL) une librairie tierce d'allocation mémoire qui aurait été parallèlement uploadée sur le serveur attaqué. Ce faisant il transmet les droits de root à cette librairie tierce. Si cette librairie contient du code malveillant, le serveur sera totalement compromis.

Pour arriver à ce résultat, il suffit de modifier le script de configuration /etc/my.cnf, au moyen d'une injection SQL.

La preuve de concept commence par modifier les permissions du fichier de configuration

chown mysql /etc/my.cnf
chmod 600 /etc/my.cnf" 

Ceci fait, un attaquant qui dispose d'une connexion mysql avec authentification peut injecter du code dans le fichier

mysql> set global general_log_file = '/etc/my.cnf';
mysql> set global general_log = on;
mysql> select '
    '>
    '> ; injected config entry
    '>
    '> [mysqld]
    '> malloc_lib=/tmp/mysql_exploit_lib.so
    '>
    '> [separator]
    '>
    '> ';
1 row in set (0.00 sec)
mysql> set global general_log = off;

Et voilà, au redémarrage du service la libraire mysql_exploit_lib.so pourra sévir.

Comme la preuve de concept le montre, le script de configuration doit avoir des droits correctement positionnés pour limiter les risques d'attaques réussi. Le ficheir ne devrait jamais appartenir à l'utilisateur mysql, bien évidemment, comme le rappelle Dawid Golunski.

Dawid Golunski suggère de leurrer les attaques avec un faux script de configuration, après avoir déplacé le vrai à un emplacement connu seulement de l'administrateur système.

Votre serviteur vous propose d'autres suggestions en complément:

- MySQL doit être configuré pour ne pas permettre d'autres connexions que des connexions locales.

Sachant qu'une attaque peut être tentée depuis un hébergement web après un hack réussi d'un CMS

- ne jamais configurer un CMS avec une connexion de l'utilisateur root de mysql

- ne jamais accorder le droit à l'utilisateur MySQL du CMS d'accorder des permissions

- ne jamais accorder la permission FILE à l'utilisateur MySQL du CMS, afin qu'il ne puisse pas écrire dans un fichier au moyen d'une injection SQL.

- sécurisez très rigoureusement votre phpMyAdmin

Ces 3 précautions s'appliquent d'ailleurs en toutes circonstances. Ce sont des bonnes pratiques

Et bien sûr appliquer les correctifs MySQL dès qu'ils seront disponibles.

C'est là que le bât blesse. Oracle, averti de l'existence de cette vulnérabilité n'a pas l'instant pas communiqué à ce sujet ni annoncé la publication d'un correctif.

MariaDB et PerconaDB, qui dérivent de MySQL ont déjà été patchés par leurs éditeurs.

Oracle annonce la disponibilité de MySQL 5.7

Soumis par fredericmazue le

Oracle annonce la disponibilité de MySQL 5.7, la nouvelle version de la base de données en logiciel libre. Cette version améliore encore les performances, l'évolutivité et l'administration de MySQL. Sur le plan des performance, Oracle affirme que cette mouture est trois fois plus rapide que MySQl 5.6. Elle intègre des fonctions NoSQL enrichies avec le support de JSON et MySQL Router qui facilite la connexion des applications à plusieurs bases de données MySQL.

"MySQL 5.7 apporte de multiples innovations permettant aux développeurs, aux administrateurs de base de données et aux équipes DevOps de réaliser et de gérer des applications Web et cloud de nouvelle génération, capables de traiter des volumes toujours plus importants de données," déclare Tomas Ulin, Vice President, MySQL Engineering, Oracle. "MySQL 5.7 a bénéficié des versions intermédiaires de développement qui ont permis aux utilisateurs d'évaluer, de tester et de commenter le logiciel pendant son développement. Cette version résulte ainsi d'un processus collaboratif impliquant de nombreux membres de la communauté MySQL."

Voici les principales évolutions de MySQL 5.7 mises en avant par Oracle :

  • Vitesse améliorée : Dans des tests comparatifs utilisant des opérations en lecture seule de type SysBench Point-Selects, avec 1 024 connexions, MySQL 5.7 a pu traiter 1 600 000 requêtes par seconde (QPS) – soit 3 fois plus que MySQL 5.6.
  • InnoDB optimisé : Les nouveautés améliorent notamment les performances et la concurrence, les opérations en ligne, les index spatiaux ou encore le partitionnement natif.
  • Réplication plus robuste : Les améliorations des fonctions de réplication de MySQL intègrent notamment la réplication multi-sources, des identifiants globaux de transaction (GTID) renforcés, et des serveurs esclaves multi-threadés améliorés assurant une scalabilité et une disponibilité accrues.
  • Optimiseur enrichi : Le nouveau modèle de coût dynamique de l'optimiseur MySQL améliore la performance des requêtes et peut être mieux contrôlé par l'utilisateur.

Voici, toujours selon Oracle, les principales évolutions de MySQL 5.7 concernant l'administration :

  • Nouveau type de données natif JSON et nouvelles fonctions JSON : pour stocker, rechercher et manipuler des données sans schéma de façon efficace et souple, avec notamment un nouveau format binaire interne, une intégration plus facile dans SQL et la gestion des index sur les Documents JSON en utilisant les colonnes générées.
  • Performance Schema : il permet une instrumentation de la mémoire, des transactions, des routines stockées, des instructions préparées, de la réplication et des verrous.
  • MySQL SYS Schema : il fournit des objets utilitaires pour répondre facilement aux questions que l'on se pose habituellement en matière de performance, d'état du système, d'usage et de surveillance.
  • Sécurité renforcée : pour faciliter et sécuriser encore plus l'initialisation, la configuration et la gestion d'une instance MySQL
  • Support étendu des systèmes d'information géographiques (SIG) pour les applications mobiles : il intègre le support des index spatiaux dans InnoDB, GeoJSON et GeoHash.

Le nouveau routeur MySQL Router est également désormais disponible, il simplifie le développement applicatif en assurant le routage intelligent des requêtes sur différentes bases de données MySQL afin d'augmenter encore les performances et la disponibilité. MySQL Router assure également le support inter-langages pour MySQL Fabric, afin de simplifier la gestion des groupes de bases de données MySQL et d'assurer une disponibilité et une évolutivité maximales grâce à la segmentation automatique des données.

MySQL Group Replication est déjà disponible sur http://labs.mysql.com afin que les membres de la communauté puissent le tester et faire part de leurs commentaires. MySQL Group Replication permet de constituer des clusters de réplication active/active autorisant l'écriture sur tous les nœuds MySQL, avec une détection et une résolution automatiques des conflits.

MySQL 5.7 sera disponible en téléchargement sur http://dev.mysql.com/downloads/ à partir du 26 octobre 2015. Offre soumise à conditions.

MariaDB 10.1 intègre le chiffrement des données

Soumis par fredericmazue le

MariaDB vient d'arriver en version MariaDB 10.1 RC, une version supervisée par la Fondation MariaDB qui intègre un chiffrement natif fourni par Google, sans sacrifice de performances, ni d'augmentation des coûts, selon l'éditeur. Avec cette mouture, les utilisateurs de MySQL et de MariaDB peuvent entièrement chiffrer leurs bases de données sans aucune modification des applications. Les bases de données et applications commerciales peuvent également migrer vers MariaDB 10.1 pour permettre aux entreprises de chiffrer et de protéger leurs bases de données ainsi que les données qui y sont stockées. MariaDB 10.1 intègre également des améliorations en termes d’évolutivité, de haute disponibilité, de performances et d’interopérabilité pour les applications critiques.

 « La sécurité des données est essentielle, mais le coût, les problèmes de performances et les défis de déploiement ont toujours été des obstacles à une adoption plus massive du chiffrement des données » déclare Garrett Bekker, analyste en chef de la division Sécurité d’entreprise chez 451 Research. « Le chiffrement natif et transparent des données intégré à MariaDB 10.1 résout les problèmes d’adoption rencontrés par les CISO et CIO qui cherchent à adopter les meilleures pratiques en matière de sécurité des données. »

« Nous sommes ravis de mettre MariaDB 10.1 à la disposition de la communauté Open Source avec des fonctionnalités de chiffrement de données fournies par Google, » déclare Otto Kekäläinen, CEO de la Fondation MariaDB, « Avec cette toute dernière version, MariaDB offre la base de données Open Source la plus évolutive, fiable et sécurisée actuellement disponible sur le marché ».

Pour MariaDB 10.1 met en avant les améliorations suivantes :

Sécurité - Les avantages par rapport à d’autres bases de données Open Source :

  • Chiffrement des données au repos : chiffrement au niveau des instances et des tables avec support des clés tournantes (contribution Google)
  • Validation des mots de passe
  • Contrôle d’accès à base de profils (profil par défaut) renforcé et optimisé

Haute disponibilité - Les améliorations apportées en termes de disponibilité élevée offrent une solution hors pair avec une intégration totale de Galera Cluster.

Montée en charge – le renforcement comprend :

  • Réplication parallèle optimiste : toutes les transactions sont considérées comme exécutées en parallèle pour renforcer les performances de réplication maître-esclave
  • Exécution de déclencheurs par l’esclave lors de l'utilisation de réplication
  • Améliorations spécifiques de WebScaleSQL

Performances accrues :

  • Délai d’attente des requêtes
  • Améliorations apportées à InnoDB, qu’il s’agisse du nettoyage multi-thread ou de la compression des pages pour FusionIO/nvmfs
  • Amélioration de l’optimiseur et EXPLAIN JSON, EXPLAIN ANALYZE (avec FORMAT=JSON)

Interopérabilité renforcée :

  • Support JSON/BSON pour le moteur CONNECT

Disponibilité

MariaDB 10.1 RC est disponible immédiatement en téléchargement ; sa disponibilité générale est prévue pour début octobre.

WebScaleSQL : pour un MySQL à hautes performances

Soumis par fredericmazue le

Il semblerait que les bases de données NoSQL ne résolvent pas tous les problèmes. Facebook, Google, Twitter et LinkedIn lancent un projet, sous la forme d'un fork de MySQL 5.6, dont le but est de mettre au point une solution performante enenvironnement transactionnel pour les base de données à forte volumétrie.

Le projet a son site officiel qui nous apprend que ces derniers mois des ingénieurs ont travaillé et écrit du code qui est placé sous licence GPL v2.

Le défi est difficile à relever et les quatre compagnies fondatrices du projet sont conscientes de ne pas être les seules à avoir besoin de résoudre ce type de difficultés. C'est pourquoi le projet est ouvert et les contributions y sont les bienvenues.

Les sources du projet sont téléchargeables sur GitHub.

Ubuntu reste fidèle à MySQL

Soumis par fredericmazue le

Dans un billet sur Google+,  Mark Shuttleworth a indiqué que Ubuntu 14.04 LTS, la prochaine mouture de la célèbre distribution Linux, en support étendu, restera fidèle à MySQL en embarquant la version 5.6 du système de base de donnés d'Oracle.

Mark Shuttleworth va donc contre la tendance actuelle qui est de passer à MariaDB, comme l'ont déjà fait Red Hat et SUSE. Au contraire, Mark Shuttleworth salue les efforts faits par Oracle pour fournir un SGDBR de qualité.

Interrogé par zdnet.com il n'exclue pas d'inclure dans Ubuntu des forks de MySQL tels que Percona, SkySQL ou MariaDB quant ceux-ci auront gagné en maturité.