JSON

simdjson 5.0 : support de la réflexion C++26 et ajout des sélecteurs de clés

Soumis par francoistonic le
Image

Actualité de la rédaction de Programmez!

La bibliothèque C++ d'analyse et de génération de JSON simdjson passe en version 5.0. La réflexion statique de C++26, introduite à titre expérimental dans la version 4.0, est désormais officiellement prise en charge par la bibliothèque. Elle est détectée automatiquement lorsque le compilateur l'active. Des annotations permettent notamment de renommer, ignorer ou aplatir des champs lors de la sérialisation des structures.

Autre nouveauté, accessible dès C++20 : les sélecteurs de clés. L'expression doc.get_object().for_each<"name", "city", "age">(name, city, age) permet de récupérer plusieurs champs en un seul parcours de l'objet, quel que soit leur ordre, grâce à une fonction de hachage construite à la compilation. Avec la réflexison, la désérialisation d'une structure utilise désormais ces sélecteurs par défaut ; l'ancien comportement, une recherche par membre, se retrouve avec l'option -DSIMDJSON_DISABLE_KEY_SELECTOR_REFLECTION=1.

using namespace simdjson;auto json = R"({ "name": "Daniel", "age": 42, "city": "Montreal" })"_padded;ondemand::parser parser;auto doc = parser.iterate(json);std::string_view name, city;uint64_t age = 0;auto result = doc.get_object().for_each<"name", "city", "age">(name, city, age);// name == "Daniel", city == "Montreal", age == 42

Cette version ajoute aussi les séquences JSON de la RFC 7464 et simdjson::slice_at, qui facilite le découpage d'un flux pour une analyse sur plusieurs threads.

Un changement peut affecter le traitement des erreurs : un entier positif supérieur ou égal à 2^64 et strictement inférieur à 10^20 est désormais signalé comme BIGINT_NUMBER, au lieu d'être considéré comme malformé.

Enfin, la sérialisation des flottants adopte Dragonbox et d'autres optimisations. Sur le fichier de test canada, Daniel Lemire mesure un débit de 0,52 Go/s contre 0,31 Go/s avec simdjson 4.0, avec GCC 16.1 sur un Xeon Gold 6548N.

Annonce : https://github.com/simdjson/simdjson/releases/tag/v5.0.0

Une nouvelle API Go pour JSON

Soumis par francoistonic le

JSON est un format d'échange de données qui fait référence. Go, comme tous les autres langages, sérialise et désérialise les fichiers JSON. C'est même un des packages Go les plus utilisés. Dans Go 1.25, une nouvelle API JSON est proposée en version expérimentale pour encoder, décoder json/v2 et jsontext. Si le support JSON est plutôt bon, des lacunes ont été remontées. Par exemple, la gestion parfois imprécèse de la syntaxe JSON. "Au fil des ans, JSON a connu une standardisation accrue afin de permettre aux programmes de communiquer correctement. En général, les décodeurs sont devenus plus stricts dans le rejet des entrées ambiguës, afin de réduire le risque que deux implémentations interprètent différemment (et avec succès) une valeur JSON particulière." explique le post. Parmi les problèmes syntaxiques, l'encoder/json peut accepter un UTF-8 non valide. Le comportement par défaut devrait signaler une erreur, au lieu d'introduire une corruption silencieuse des données, susceptible de causer des problèmes en aval. Autre exemple, des problèmes dans la sensibilité à la casse des caractéres. 

A cela, s'ajoute une API parfois sensible ou trop restrictive dans son utilisation ou encore des performances limitées. 

L'un des objectifs de cette nouvelle API est de corriger directement les défauts d'encoding/json même si cela impliquera une casse de code, ce qui n'est jamais neutre. "S'il est relativement facile d'ajouter de nouvelles fonctionnalités, il est difficile de modifier les fonctionnalités existantes. Malheureusement, ces problèmes sont des conséquences inhérentes à l'API existante, ce qui les rend pratiquement impossibles à corriger dans le cadre de la compatibilité Go 1." explique le post. Cependant, les responsables du projet veulent que les usages de l'API v1 soient les mêmes s'ils sont migrés directement sur la v2.

Go a donc décidé de planifier une nouvelle version d'encoding/json/v2. Ce projet est public depuis le début de la réflexion et les présentations en conférence depuis 2023. 

Parmi les évolutions attendues :

-  signale une erreur en présence d'UTF-8 non valide.- signale une erreur si un objet JSON contient un nom en double.- déconvertit un objet JSON en une structure Go en appliquant une correspondance sensible à la casse entre le nom du membre JSON et le nom du champ Go.- redéfinit le tap optionnel omitempty pour omettre un champ s'il aurait été codé comme une valeur JSON « vide » (valeurs null, "", [] et {}).Présentation complète : https://go.dev/blog/jsonv2-exp

JSON Visio : un outil pour visualiser des données JSON sous forme de graphiques

Soumis par fredericmazue le

JSON Visio est un outil de visualisation pour vos données JSON qui les représente de manière transparente sur des graphiques sans avoir à restructurer quoi que ce soit. Vous n'avez qu'à coller directement du code ou importer un fichier.

Les fonctionnalités de JSON Visio sont les suivantes

  • PWA (Progressive Web App) avec prise en charge du mode hors ligne
  • Recherche des nœuds
  • Téléchargement en tant qu'image
  • Message d'erreur avancé
  • Enregistrement de données JSON localement
  • Prise en charge de plusieurs directions de mise en page
  • Vue compressée
  • Couleurs représentatives pour les tableaux et les clés
  • Interface utilisateur conviviale
  • Mode clair/foncé

JSON Visio dispose d'un site officiel qiui propose une page de démonstration de l'outil.

JSON Visio est un logiciel libre sous licence MIT disponible sur GitHub.

 

MySQL 8.0 est en Release Candidate

Soumis par fredericmazue le
Image

L'équipe de développement de MySQL vient d'annoncer la disponibilité de MySQL 8.1 en Release Candidate. Une mouture qui rend MySQL meilleur pour les applications modernes, souligne le billet d'annonce.

Une application moderne est avant tout une application mobile, explique l'équipe de développement, c'est-à-dire une application qui tient compte de la localisation de son utilisateur et du fait qu'il faut réduire au maximum le nombre de clics qu'il doit effectuer. Sur cette base, MySQL apporte de nombreuses nouveautés, dont voici les plus remarquables selon nous.

Un support JSON amélioré

L'usage de JSON, qui est au départ le format de données pour le langage JavaScript, tend à généraliser, d'où l'importance de soigner son support pour l'équipe de MySQL. Ainsi arrive une fonction permettant de vérifier la taille, en terme d'espace disque, d'une données JSON. Arrivent des fonctions qui permettent d'agréger des tableaux et des objets, et arrive le support des plages de données (ranges). Ce qui permet d'extraire des éléments précis d'un tableau. Par exemple :

Du NoSQL dans MySQL

Le Document Store, introduit avec MySQl 7.5, permet de travailler avec des API NoSQL pour la lecture, l'écriture, la modification et l'effacement des données, tout en gardant la consistance des données. Le développeur n'est pas obligé d'abandonner SQL pour autant, car il reste possible d'accéder aux données du Docuement Store par ce moyen.

Unicode 9

Avec l'internationalisation des applications, l'usage d'Unicode, et en particulier d'UTF-8, tend à se généraliser. MySQL 8.0 supporte le dernier standard Unicode 8 et laisse tomber (enfin...) latin1 comme jeu de caractères par défaut. Le jeu de caractères par défaut est désormais utf8mb4. Désormais, vos résultats de requêtes peuvent afficher des émojis :-)

Sortie de PostgreSQL 9.4

Soumis par fredericmazue le

Le PostgreSQL Global Development Group annonce la sortie de PostgreSQL 9.4. Cette version ajoute de nombreuses fonctionnalités qui améliorent la flexibilité, l'évolutivité et les performances de PostgreSQL. Et cela pour de nombreux cas d'utilisation différents, avec notamment l'amélioration du support de JSON, de la réplication et de la performance de l'indexation, ainsi que le souligne l'équipe de développement.

Avec le nouveau type de données JSONB, il n'y a plus besoin de choisir entre le stockage relationnel et non-relationnel : il y a les deux à la fois.

JSONB supporte les recherches rapides et les requêtes de recherche d'expressions simples en utilisant les index de type Generalized Inverted Indexes (GIN).

De nombreuses nouvelles fonctions permettent de manipuler les données JSON, avec des performances qui atteignent voire surpassent les bases de données orientées documents les plus populaires, selon PostgreSQL Global Development Group. 

Avec JSONB, les données en tables peuvent être intégrées à des données de documents pour un environnement de bases de données complètement intégré.

"JSONB rapproche PostgreSQL des développeurs de la communauté JavaScript en permettant aux données JSON d'être stockées et requêtées nativement.  node.js et les autres frameworks JavaScript côté serveur peuvent désormais profiter de la sécurité et de la robustesse de PostgreSQL, tout en continuant à stocker les données dans le format sans schéma qu'ils préfèrent" précise Matt Soldo, Responsable Produit chez Heroku Postgres.

Evolutivité

Avec la 9.4, le décodage logique (Logical Decoding) offre une nouvelle API pour lire, filtrer et manipuler le flux de réplication de PostgreSQL. 

Cette interface est la fondation de nouveaux outils de réplication, comme la réplication bi-directionnelle (Bi-Directional Replication), qui permet la création de grappes de serveur PostgreSQL multi-maître. 

D'autres améliorations dans la réplication système concernent l'administration et l'utilisation des réplicats, notamment les connecteurs de réplication et les réplicats différés.

"La raison principale derrière notre adoption immédiate de PostgreSQL 9.4 en production est la nouvelle fonctionnalité de décodage logique" explique Marco Favale, Responsable de la Production Cartographique chez Navionics.

"La possibilité d'écrire des greffons de sortie personnalisés et flexibles nous permettra de récupérer de manière transparente les modifications sur des tables choisies et de répliquer ces modifications où nous le voulons, tout en supprimant les contraintes relatives aux solutions de réplication basées sur les triggers, lourdes et plus complexes à gérer."

"Zalando dépend de la stabilité et des performances de centaines de serveurs de bases de données PostgreSQL pour satisfaire des millions de clients partout en Europe" dit Valentine Gogichashvili, responsable des opérations bases de données chez Zalando Technologies. "Nous sommes impatients d'utiliser la réplication différée, immédiatement utilisable, et nous allons évaluer les outils de réplication bi-directionnelle dès qu'ils seront disponibles."

Performances

La version 9.4 apporte également de multiples gains de performance, permettant aux utilisateurs de tirer plus d'avantages de leur serveur PostgreSQL dont :

  • des améliorations des index GIN, avec une taille réduite de 50% et une vitesse multipliée par 3 ;
  • des vues matérialisées qui peuvent être mises à jour de manière concurrente, pour du reporting plus rapide et plus à jour ;
  • le rechargement rapide du cache de base de données au redémarrage avec pg_prewarm ;
  • une écriture en parallèle plus rapide des journaux de transaction de PostgreSQL.

"Nous allons vraiment beaucoup gagner avec le rafraichissement concurrent des vues matérialisées, les réplicats différés (qui permettront aux restaurations après incident d'être plus robustes), ainsi qu'avec les améliorations de performances apportées par chaque nouvelle version", ajoute Marco Favale.

Une journée de conférences dédiées à PostgreSQL et PostGIS

Soumis par fredericmazue le

La prochaine version majeure de PostgreSQL, la 9.4, est attendue dans les prochaines semaines. Parmi les nouveautés qui ont déjà fait parler d’elles, le format JSON binaire de PostgreSQL (JSONB) a généré un véritable enthousiasme puisqu’il va changer la donne pour les développeurs en permettant un accès JSON rapide et une indexation JSON très flexible, au-delà de ce que permettent les autres bases de données.

Pour découvrir ces nouveautés et comprendre de quelle manière  PostgreSQL s’impose désormais non seulement comme une alternative à Oracle mais aussi bientôt aux bases de type MongoDB, Dalibo et Oslandia organisent à Paris le 25 septembre 2014 une journée de conférences dédiée à PostgreSQL et PostGIS.

Cette session, gratuite et ouverte à tous (inscriptions à cette adresse : http://www.postgresql-sessions.org/6/registration_form), sera l’occasion de rencontrer les membres de la communauté francophone PostgreSQL et PostGIS, tout en participant à des interventions de qualité, animées par des intervenants choisis et experts sur ces thématiques.

Au programme de cette journée :

  • Présentation de PointCloud par Rémi Cura - IGN
  • Nouveautés de PostGIS 2.x par Olivier Courtin - Oslandia
  • Open PostgreSQL Monitoring par Jean-Paul Argudo - DALIBO
  • Analyse spatiale avancée par Nicolas Ribot - Indépendant
  • Migration Oracle Spatial vers PostGIS par Audrey Malherbe - Mappy
  • Nouveautés de PostgreSQL 9.4 par Guillaume Lelarge - DALIBO
  • Versionning avec PostgreSQL par Vincent Picavet - Oslandia
  • Migration d’Oracle Spatial avec ora2pg par Gilles Darold – DALIBO

Par ailleurs, Jean-Paul Argudo, Directeur Général de Dalibo et Damien Clochard, Directeur des Opérations, seront disponibles au cours de cette journée pour évoquer les avancées de PostgreSQL et la stratégie de Dalibo sur le marché français.

#Restful, really ?

Soumis par fredericmazue le

Tout le monde dit faire ou vouloir faire une architecture de type Rest, mais que cela implique-t-il vraiment ?

Où vous situez-vous sur le “Richardson Maturity Model” ? Votre API est à la fois Hypermedia et JSON, really ?

Si ce sont des questions qui vous taraudent l’esprit et même vous empêchent de dormir, alors venez écouter ce talk pour avoir des pistes de réflexions, des échanges et peut-être des réponses, qui sait ?

Le 17 juin 2014.

Plus d'informations sur cet événement organisé par ElsassJUG: jugevents.org

CodeFluent Entities pour SQL Server 2014

Soumis par fredericmazue le
IDE

CodeFluent Entities et son éditeur graphique  intégré à Microsoft Visual Studio est désormais compatible avec Microsoft SQL Server 2014.

CodeFluent Entities permet de générer des composants tels que des scripts (T-SQL, PL/SQL, MySQL, Pg/SQL), du code (C# et VB.NET), des services web (WCF et JSON/REST) ou des interfaces utilisateurs (ASP.NET, SharePoint, WPF). La génération est pilotée par un modèle unique. Elle est en outre continue : à partir de votre modèle déclaratif, un méta-modèle va en être inféré puis traduit par des générateurs de code. Plus de 20 générateurs de code (appelés ‘producteurs’) sont fournis avec le produit et peuvent être combinés pour créer votre propre application, selon votre architecture, avec les technologies que vous avez choisies.

CodeFluent Entities est conçu pour la plateforme .NET et, selon son éditeur, permet aux utilisateurs de rationaliser les développements sur les plateformes Microsoft majeures et les technologies telles que SQL Server 2005 à 2014, C#, VB.NET, WCF, ASP.NET, WPF, Windows 8, SharePoint, SQL Azure, bases de données tierce et plus.

La sécurité des API est la principale préoccupation des développeurs

Soumis par fredericmazue le
Image

CA Technologies révèle les résultats d'une étude sur l’état de l’art de la conception et du déploiement des API. Cette étude conduite en ligne auprès de 180 développeurs en janvier 2014, démontre qu’aucune méthode universelle de gestion des API n’a réussi à s’imposer.

Les entreprises réalisent que leur croissance dépend de leur capacité à déployer, gérer et sécuriser facilement leurs API pour leurs applications internes, mais aussi avec leurs partenaires. Une précédente étude de CA Technologies prévoyait déjà que 85% des entreprises utiliseront des API pour connecter et faire communiquer leurs applications internes ou externes entre elles, d’ici à 2018. Cette prédiction tend à se réaliser et n’est qu’une première étape avant l’avènement de l’Internet des Objets.

Pour les quelque 180 développeurs interrogés pour cette étude, il est clair la création d’API évolutives, sécurisées et flexibles n'est pas facile à mettre en place. Plus de 44% des sondés affirment que la sécurité des API est leur première préoccupation. Tandis que 38% sont focalisés sur la facilité d'utilisation. Ce qui montre l'importance cruciale de ces deux facteurs dans la conception et le déploiement réussi des API.

Pour Dimitri Sirota, Vice-Président de la stratégie de sécurité chez CA Technologies : « le résultat  le plus marquant de cette étude est le fait que les API jouent un rôle essentiel à la fois pour les communautés de développeurs en interne et en externe ».

60% des sondés affirment que leurs programmes incluent des API publics et privés. « Les entreprises utilisent les API sur des environnements multiples (mobilité, Web, intégration), et ont besoin de solutions flexibles permettant une variété d'usages et de protocoles », conclut M. Sirota. Tout au long de la création de ces programmes, les développeurs d'API utilisent des outils spéciaux (la plupart au cours des phases de conception/développement et de test/déploiement).

Les développeurs d'API sont également équitablement partagés entre les protocoles JSON et XML, avec plus de 50% des répondants choisissant JSON, contre 47% pour le XML. On constate le même phénomène pour le support d’HTTP : plus de 42 % des répondants utilisent le protocole SOAP via HTTP, tandis que 43 % préfèrent le système CRUD via HTTP.

En ce qui concerne le déploiement d'API, une large proportion (78%) des sondés affirment créer des prototypes avant de lancer leurs programmes d'API. Près de 25 % des programmes d'API fournissent au moins un SDK aux développeurs. Les personnes interrogées indiquent également que leurs programmes d'API ciblent plusieurs types de développeurs (principalement des développeurs d’applications web, internes, mobiles ou de partenaires).

L'étude a été menée par The API Academy – une communauté animée par des experts de Layer7 et composée de concepteurs d'API, de développeurs et de spécialistes en stratégie digitale s'efforçant d'accélérer les processus métier en partageant les meilleures pratiques et des enseignements sur la création d'API. 

Les développeurs .NET ont désormais accès aux API Google

Soumis par fredericmazue le

En fait tout le monde a accès aux API Google car celles-ci sont en ReST, HTTP et JSON. Mais comme le fait très justement remarquer Mountain View, disposer d'une librairie client c'est souvent bien pratique, et cela peut faire économiser des tonnes de temps.

C'est ainsi que Google annonce la disponibilité générale d'une librairie client d'une cinquantaine de ses API. Cette librairie est open source et hébergée sur NuGet. Elle permet d'écrire des applications aussi bien pour les ordinateurs de bureau que pour Windows Phone. 

Les développeurs trouveront effectivement cette librairie fort bien venue pour des travaux ardus comme l'authentification avec OAuth2, ou apprécierons encore de pouvoir générer facilement des rapports AdSense, etc. La liste complète des API supportées est accessible à cette adresse.  Un guide de démarrage est accessible à cette adresse. Voici un exemple de code mettant en oeuvre cette librairie client :

using System;
using System.Threading.Tasks;

using Google.Apis.Discovery.v1;
using Google.Apis.Discovery.v1.Data;

namespace Discovery.ListAPIs
{
    /// <summary>
    /// This example uses the discovery API to list all APIs in the discovery repository.
    /// https://developers.google.com/discovery/v1/using.
    /// <summary>
    class Program
    {
        [STAThread]
        static void Main(string[] args)
        {
            Console.WriteLine("Discovery API Sample");
            Console.WriteLine("====================");
            try
            {
                new Program().Run().Wait();
            }
            catch (AggregateException ex)
            {
                foreach (var e in ex.InnerExceptions)
                {
                    Console.WriteLine("ERROR: " + e.Message);
                }
            }
            Console.WriteLine("Press any key to continue...");
            Console.ReadKey();
        }

        private async Task Run()
        {
            // Create the service.
            var service = new DiscoveryService(new BaseClientService.Initializer
                {
                    ApplicationName = "Discovery Sample",
                    APIKey="[YOUR_API_KEY_HERE]",
                });

            // Run the request.
            Console.WriteLine("Executing a list request...");
            var result = await service.Apis.List().ExecuteAsync();

            // Display the results.
            if (result.Items != null)
            {
                foreach (DirectoryList.ItemsData api in result.Items)
                {
                    Console.WriteLine(api.Id + " - " + api.Title);
                }
            }
        }
    }
}