SQL

SQL a 50 ans

Soumis par fredericmazue le

En juin 1970, Edgar Frank Codd publia l'article A Relational Model of Data for Large Shared Data Banks (Un référentiel de données relationnel pour de grandes banques de données partagées) qui a été à la base des travaux de Donald Chamberlin et Raymond Boyce, chez IBM.

Les deux chercheurs ont alors conçu un langage de requête structuré qui fut appelé SEQUEL, pour être rapidement rebaptisé SQL car le nom SEQUEL était déjà déposé par une autre entreprise. En mai 2004, ils ont publié un article expliquant leurs travaux et ce nouveau langage. Cet article est toujours disponible aujourd'hui, ici.

"Dans cet article, nous présentons la fonction de manipulation de données pour un langage de requête anglais structuré (SEQUEL) qui peut être utilisé pour accéder aux données dans une base de données relationnelle intégrée. Sans recourir aux concepts de variables liées et de quantificateurs, SEQUEL identifie un ensemble d'opérations simples sur des structures tabulaires, dont on peut démontrer qu'elles sont d'une puissance équivalente au calcul des prédicats de premier ordre. Un utilisateur de SEQUEL se voit présenter un ensemble cohérent de modèles de mots clés en anglais qui reflètent la manière dont les gens utilisent les tableaux pour obtenir des informations. De plus, l'utilisateur de SEQUEL est capable de composer ces modèles de base de manière structurée afin de former des requêtes plus complexes. SEQUEL est conçu comme un sous-langage de base de données destiné à la fois au programmeur professionnel et à l'utilisateur de base de données plus occasionnel."

SQL était né. En 1979, la première version commerciale a été proposée par Oracle qui s'appelait alors Relational Software, Inc. D'autres éditeurs ont rapidement emboîté le pas. SQL a été normalisé par l'ISO à partir de 1987.

Ainsi que chaque développeur le sait, SQL est toujours très largement utilisé aujourd'hui, et le restera probablement encore très longtemps.

Trdsql : un outil pour interroger des fichiers structurés avec SQL

Soumis par admin le
Image

Trdsql est un outil en ligne de commande qui permet d'exécuter des requêtes SQL sur des fichiers texte structurés. En l'occurrence des fichiers CSV, LTSV, JSON et TBLN. Trdsql est un outil similaire à q ou textql, mais en plus performant et plus polyvalent. Par exemple textql ne supporte que les formats CSV ou TSV. De plus Trdsql peut être utilisé avec la syntaxte MySQL ou PostgreSQL.

On peut donner une requête SQL dans la ligne de commande, comme illustré par l'animation ci-dessous, ou bien demander à trdsql de charger les requêtes depuis un fichier. Il est possible d'interroger plusieurs fichiers structurés en une seule requête, les fichiers étant alors traités comme une seule table.

Trdsql est écrit en Go. C'est un outil de rêve pour les administrateurs de système UNIX-like (Linux, freeBSD, etc.) sur lesquels les fichiers textes structurés restent rois.

Trdsql est un logiciel libre sous licence MIT, disponible sur GitHub.

pgFormatter v5.0

Soumis par fredericmazue le

pgFormatter est un formateur de code SQL et PlPgsql dédié à PostgreSQL. Il vient sous la forme d'une commande CLI utilisable dans un contexte CGI.

pgFormatter vient de sortir en version 5.0. Il s'agit d'une version majeure qui corrige les problèmes remontés par les utilisateurs depuis les six derniers et qui apporte quelques améliorations et nouvelles fonctionnalités, parmi lesquelles

  • Une nouvelle option activer la recherche sur plusieurs lignes avec une expression rationnelle
  • Correction d'une mauvaise gestion des constantes entre guillemets dans tous les types de requêtes et en particulier dans le corps de la fonction.
  • Ajout des mots-clés ALWAYS, DISABLE, ENABLE, LEVEL et STORED.
  • Formatage amélioré pour les requêtes CREATE POLICY
  • Suppression de la correction des faux positifs pour les mots clés
  • etc.

pgFormatter  est un logiciel libre sous licence PostgreSQL, disponible sur GitHub. Il dispose d'un site dédié offrant une démonstration de son fonctionnement.

Meetup #11 Programmez! - Recherche NoSQL pour votre application SQL

Soumis par fredericmazue le

Lors de ce meetup vous découvrirez comment mixer SQL et NoSQL sans faire la révolution ?

Un meetup 100 % LIVE CODING

Speaker de la soirée : David Pilato (développeur évangéliste elastic.co)

Thème : cette "live coding" conférence vous montrera comment ajouter Elasticsearch à votre application existante sans changer vos habitudes. Vous aurez des fonctions de recherche avancées sans avoir à écrire du SQL complexe !

David partira d'une application Spring Boot/Postgresql/MySQL et ajoutera Elasticsearch en live depuis la scène !

MEETUP VIRTUEL

Mardi 13 octobre 2020 à 18H30

Inscriptions

AlaSQL, une base de données SQL et NoSQL écrite en JavaScript

Soumis par fredericmazue le

AlaSQL est un système de base de données open source conçu pour la rapidité des requêtes et le traitement des données en mémoire avec la flexibilité au niveau des sources de données. Ainsi AlaSQL permet de travailler avec des données relationnelles et des données sans schéma (NoSQL). Ecrit en JavaScript, AlaSQL fonctionne aussi bien dans un navigateur web qu'avec node.js ou des applications mobiles. En outre AlaSQL peut importer des données depuis localStorage, IndexedDB ou des fichiers Excel.

Bien que le projet n'en soit qu'à ses débuts, il nous paraît déjà très intéressant, au regard de ses possibilités. En outre, l'équipe de développement assure qu’elle travaille sur un moteur de base de données complet qui sera conforme à la plupart des langages SQL-99 agrémenté d'une syntaxe supplémentaire pour les réseaux de données et de graphes NoSQL.

Voici quelques exemples des possibilités de AlaSQL :

Travail avec SQL classique :

/* create SQL Table and add data */
alasql("CREATE TABLE cities (city string, pop number)");
alasql("INSERT INTO cities VALUES ('Paris',2249975),('Berlin',3517424),('Madrid',3041579)");

/* execute query */
var res = alasql("SELECT * FROM cities WHERE pop < 3500000 ORDER BY pop DESC");

// res = [ { "city": "Madrid", "pop": 3041579 }, { "city": "Paris", "pop": 2249975 } ]

Travail avec un tableau d'objets :

var data = [ {a: 1, b: 10}, {a: 2, b: 20}, {a: 1, b: 30} ];

var res = alasql('SELECT a, SUM(b) AS b FROM ? GROUP BY a',[data]);

// res = [ { "a": 1, "b": 40},{ "a": 2, "b": 20 } ]

Travail avec un fichier Excel

// file is read asynchronously (Promise returned when SQL given as array)
alasql(['SELECT * FROM XLS("./data/mydata") WHERE lastname LIKE "A%" and city = "London" GROUP BY name '])
    .then(function(res){
        console.log(res); // output depends on mydata.xls
    }).catch(function(err){
        console.log('Does the file exist? There was an error:', err);
    });

Vous pouvez bénéficier des atouts de SQL et de JavaScript ensemble en définissant vos propres fonctions que vous ajoutez alors à l'objet alasql.fn :

alasql.fn.myfn = function(a,b) {
    return a*b+1;
};

var res = alasql('SELECT myfn(a,b) FROM one');

AlaSQL est un logiciel libre sous licence MIT, disponible sur GitHub.

Site : http://alasql.org

Commentaire actu

Couchbase Mobile 2.0 : recherche fulltext et requêtes SQL

Soumis par francoistonic le

L’éditeur Couchbase annonce la version 2 de son outil Mobile. Couchbase Mobile permet d’utiliser les données d’entreprises sur les mobiles en toute sécurité et avec une expérience améliorée. Cette v2 apporte un requêtage proche du SQL même si ce n’est pas exactement du SQL. Il est possible d’exécuter les requêtes sur le mobile et non sur le cluster en ligne. L’outil utilise une base de données locales (installée sur le mobile), basés sur SQLLite. Il gère les réplications de données entre la base centrale et le terminal et sait gérer les conflits dans les coupures réseaux et le retour à la connexion. Et il est possible de gérer plusieurs versions de la données. Couchbase Mobile se connecte à la gateway de l’éditeur avant de se connecter au cluster de données. Autre nouveauté importante, la recherche full text qui n’était pas disponible jusqu’à présent dans l’outil mobile. La fonction supporte plus de 10 langues différentes. 

L’application est native à l’OS mobile. Elle est développée avec Xamarin en C# et en UWP pour la partie Windows. Le noyau est écrit en C et C++ mais les API sont disponibles notamment en Java et Swift. Il ne sera pas obligatoire de migrer en v2 si vous utilisez une précédente version de l’outil. A noter que les mécanismes de réplication à travers le réseau se fait par WebSocket. 

Autre petite fonction pouvant être utile, la possibilité de communiquer d’une base à une autre, sans passer par le cluster principal. C’est le service P2P. 

La plateforme comprend :

  • Couchbase Server : une base de données NoSQL pour gérer les données dans le cloud
  • Couchbase Lite, une base de données NoSQL embarquée pour la gestion locale des données sur l'appareil.
  • Sync Gateway, une passerelle Web sécurisée qui orchestre la synchronisation des données entre Couchbase Lite et Couchbase Server.

François Tonic

Progress : de nouveaux connecteurs DataDirect pour Apache Cassandra

Soumis par fredericmazue le

Progress annonce la sortie de Progress DataDirect for Apache Cassandra, une nouvelle série de connecteurs au sein de sa gamme DataDirect. Grâce aux interfaces standard ODBC et JDBC basées sur le langage SQL et reconnues par l’ensemble de l’industrie, DataDirect for Apache Cassandra garantit la compatibilité des applications existantes avec la base de données NoSQL Cassandra.

« Les entreprises leaders adoptent les bases de données Cassandra pour répondre aux exigences des solutions déployées sur Internet en matière de performances, d'évolutivité et de disponibilité », déclare Dion Picco, General Manager, Data Connectivity & Integration, chez Progress. « En présentant ses données sous la forme de tables relationnelles normalisées, la solution Progress DataDirect permet aux entreprises d'utiliser une solution standard basée sur le langage SQL avec des interfaces de connectivité ODBC et JDBC pour intégrer plus facilement Cassandra à leur infrastructure de gestion de données existante. »

Embarcadero met à jour ses outils de base de données

Soumis par fredericmazue le

Embarcadero Technologies annonce la nouvelle version majeure de sa gamme d’outils de base de données, qui comprend notamment ER/Studio, DBArtisan et Rapid SQL. Les nouveaux outils, d'après l'éditeur, répondent aux nouveaux enjeux liés à la gestion des données, tout en permettant une meilleure productivité sur un nombre élargi de systèmes de gestion de base de données (SGBD).

« Avec l’accroissement des volumes de données à un rythme exponentiel, les entreprises s’intéressent aux Big Data et systèmes NoSQL en corrélation avec les systèmes relationnel existants, afin de transformer leurs données en avantages compétitifs », commente Michael Swindell, vice-président senior en charge des produits chez Embarcadero. « Grâce au support du plus grand nombre de systèmes relationnels SGBD et de plateformes Big Data et NoSQL, la nouvelle gamme XE6 apporte des gains de productivité très importants aux administrateurs de bases de données, architectes données et développeurs SQL. »

Conçus pour les développeurs, les administrateurs de bases de données et les architectes, les outils Embarcadero permettent aux utilisateurs de concevoir, bâtir et lancer leurs bases de données et applications dans les environnements de leur choix. La gamme étendue XE6 fournit un nouveau support pour les principales plateformes, dont MongoDB, Hadoop Hive et PostgreSQL.

Disponibilité et versions d’essai

La gamme XE6 des outils de base de données, dont ER/Studio, DBArtisan et Rapid SQL, sont disponibles dès à présent auprès d’Embarcadero. Des versions d’essai sont téléchargeables à l’adresse suivante :

http://www.embarcadero.com/downloads

Lancements de MariaDB Enterprise 2 et MariaDB Enterprise Cluster

Soumis par fredericmazue le

SkySQL annonce le lancement de sa nouvelle gamme de produits MariaDB pour les entreprises. Les éditions MariaDB Enterprise 2 et MariaDB Enterprise Cluster 2 étendent la vision de SkySQL avec une plate-forme SQL hautes performances, présentée par l'éditeur comme étant "capable de relever les défis complexes auxquels sont confrontées les entreprises à l’ère du Web".

SkySQL souligne que les bases de données SQL telles que MariaDB restent vitales pour la plupart des entreprises. En effet, elles permettent de convertir en toute fiabilité les transactions métier réelles en opérations regroupées afin de manipuler les données de manière homogène. Simples à utiliser et appréciées des développeurs, les solutions NoSQL manquent quant à elles de fonctionnalités critiques et ne peuvent notamment pas garantir l’homogénéité des données. Jusqu'à présent, les entreprises étaient donc contraintes de choisir de puissantes bases de données SQL pour gérer certaines charges de données ainsi que des solutions moins mûres de fournisseurs NoSQL pour gérer d'autres charges, mais apparaissaient des difficultés d'intégration et de support à la clé.

La disponibilité d’une plate-forme de base de données SQL pour l’entreprise avec une interopérabilité NoSQL, bénéficiera aux développeurs qui créent des applications lucratives crédibles, et aux administrateurs de bases de données chargés de gérer des environnements de données de plus en plus vastes et complexes., explique encore SkySQL

Embarcadero améliore ses outils de base de données

Soumis par fredericmazue le

Embarcadero Technologies annonce la sortie de plusieurs nouveaux outils de base de données au sein de sa gamme XE5 : ER/Studio, DBArtisan, Rapid SQL, DB Optimizer et DB Change Manager. Disponibles dès à présent, les nouveaux produits intègrent le support pour les derniers systèmes et plateformes de gestion de base de données, et améliorent le support pour Teradata.

« Les données d’entreprise continuent de grandir en volume et en complexité, dépassant les capacités de la précédente génération d’outils de base données », commente Michael Swindell, vice-président senior en charge des Produits chez Embarcadero Technologies. « Les nouveaux outils de base de données cross-plateforme XE5 d’Embarcadero offrent des capacités plus élevées, un support plus large prenant en charge un plus grand nombre de plateformes, et se combinent pour faciliter la gestion des environnements complexes d’aujourd’hui, la gouvernance et la conformité. »

Le nouvel outil ER/Studio XE5 propose un support élargi pour Teradata, le fournisseur leader de data warehouses d’entreprise, permettant aux professionnels des bases de données de gérer plus efficacement leurs data warehouses avec de modèles logiques et physiques. Le nouvel outil fournit les fonctionnalités propriétaires et de data warehouse aux clients Teradata ayant besoin d’utiliser des index MLPPI (Multi-Level Partitioned Primary Indexes) et des types de données temporaires.

Rapid SQL XE5, outil de développement et de débogage cross-plateforme SQL, et DBArtisan XE5, outil d’administration et de gestion cross-plateforme, ont été améliorés pour intégrer le support pour Oracle 12c, SQL Server 2012, Sybase ASE 15.7, et IBM DB2 z/OS 10 et LUW 10. Les deux outils intègrent également le support natif pour les systèmes d’exploitation 64-bits et pour le nouveau Windows 8.

La nouvelle version de CONNECT, outil de gestion et de collaboration pour les métadonnées, propose des fonctionnalités élargies d’astuces et d’alertes, et renforce la sécurité des données et métadonnées.