big data

Google Logica : un nouveau langage de programmation logique successeur de Yedalog

Soumis par fredericmazue le

Google vient de présenter un nouveau langage open source : Logica. Ce langage est le successeur du langage de Google Yedalog. Il s'agit d'un langage de programmation logique de type Datalog. Le code Logica se compile en SQL et s'exécute sur Google BigQuery, avec prise en charge expérimentale de PostgreSQL et SQLite.

Google présente Logica comme étant beaucoup plus concis que SQL tout en prenant en charge les mécanismes d'abstraction propres et réutilisables qui manquent à SQL. Il est possible de travailler avec Logica depuis un Python notebook interactif. Logica est destiné aux ingénieurs, scientifiques des données et autres spécialistes qui souhaitent utiliser la syntaxe de programmation logique lors de l'écriture de requêtes et de pipelines à exécuter sur BigQuery. Logica est un langage pour le Big Data, pour exploiter le nouveau pétrole que sont les données, précise Google.

Google justifie ainsi l'existence de Logica : Une bonne programmation consiste à créer de petits éléments de logique compréhensibles et réutilisables qui peuvent être testés, nommés et organisés en packages qui peuvent ensuite être utilisés pour construire des éléments de logique plus utiles. SQL résiste à ce flux de travail. [...] Cette résistance inhérente à la décomposition de la logique en morceaux élémentaires est ce qui conduit aux longues requêtes artificielles, aux morceaux de code copiés et, finalement, impossibles à maintenir [...] Pour aggraver les choses, le code SQL est rarement testé [...] Les langages de programmation logique résolvent les problèmes de SQL en utilisant la syntaxe de la logique propositionnelle mathématique plutôt que la langue anglaise naturelle. Le langage de la logique formelle a été conçu par des mathématiciens spécifiquement pour faciliter l'expression d'énoncés complexes et convient beaucoup mieux à cet objectif que le langage naturel. Logica étend encore plus la syntaxe de programmation Logic classique, notamment avec l'agrégation, d'où le nom, qui signifie Logica = logique + agrégation.

Logica est un logiciel libre sous licence Apache 2.0, disponible sur GitHub.

Big Data & AI Paris 2021

Soumis par fredericmazue le

Big Data & AI Paris 2021 est le fruit du regroupement entre deux événements phares de la tech française et européenne : Big Data Paris, rendez-vous clé de la scène big data depuis dix ans, et AI Paris, événement dédié aux avancées de l’intelligence artificielle devenu incontournable en cinq éditions.

Big Data & AI Paris devient l’événement européen de référence de tout l’écosystème big data et IA, les 28 & 29 septembre en présentiel et en ligne. Grâce à une concentration unique de contenus et d’acteurs clés du secteur, découvrez comment faire mieux, plus vite et à l’échelle. 

Réserver votre accès.

Sortie de Apache Spark 3.0

Soumis par admin le

Alors que cette année marque le 10ème anniversaire d'Apache Spark en tant que projet open source, l'équipe annonce la disponibilité d'Apache Spark 3.0.

Pour l'occasion, l'équipe du projet souligne, non sans fierté : depuis sa sortie initiale en 2010, Spark est devenu l'un des projets open source les plus actifs. De nos jours, Spark est le moteur unifié de facto pour le traitement des mégadonnées, la science des données, l'apprentissage automatique et l'analyse des données

Voici, selon l'équipe de Spark, les points forts de cette mouture 3.0 : exécution adaptative des requêtes, élagage de partition dynamique, conformité ANSI SQL, améliorations significatives des API pandas, nouvelle interface utilisateur pour le streaming structuré, accélération jusqu'à 40 fois pour l'appel des fonctions définies par l'utilisateur en langage R, planificateur sensible aux accélérateurs, et documentation de référence SQL.

Un planificateur sensible aux accélérateurs, cela signifie concrètement que le gestionnaire de clusters est capable de détecter la présence des accélérateurs GPU et de les utiliser. Spark 3.0 est ainsi capable de pousser les tâches nécessitant de l'accélération GPU sur les machines qui en disposent.

Selon les benchmarks réalisés par les responsables du projet, Spark 3.0 est deux fois plus rapide que Spark 2.4.

Python est désormais le langage le plus utilisé sur Spark. PySpark a plus de 5 millions de téléchargements mensuels sur PyPI, le Python Package Index. C'est pourquoi cette version s'attache à améliorer ses fonctionnalités et sa convivialité, notamment la refonte de l'API pandas UDF avec des conseils de type Python, de nouveaux types UDF pandas et davantage de gestion des erreurs Pythonic.

Spark 3.0 peut être téléchargé depuis son site officiel.

Salon Big Data 2020 : mesurez vos compétences en Data Science !

Soumis par fredericmazue le

[En raison du Coronavirus, l'événement Big Data 2020 a été reporté aux 27 et 28 mai 2020]

Innovations radicales, technologies inédites, créativité à 360°… Plus que jamais l’édition 2020 de Big Data Paris s’annonce BIG.

Avec plus de 18 000 visiteurs attendus, 250 exposants, et pas moins de 250 conférences et ateliers planifiés, c’est l’ensemble de l’écosystème européen du big data qui sera réuni sous un même toit.

Deux journées de conférences vous permettront d’acquérir de nouvelles connaissances et d’enrichir votre réflexion aux côtés d’intervenants d’exception. 100 speakers s’exprimeront sur les grands enjeux actuels du Big Data : Gouvernance et qualité des données, Machine Learning et technologies d’IA combinées au Big Data, Industrialisation des projets Big Data.

En exclusivité cette année, venez mesurer vos compétences en Data Science et votre rapidité lors du data Challenge en accès libre sur le salon. Serez-vous capables d’exploiter les données de plus de 400 000 stations météorologiques pour mettre au point le meilleur modèle de prédiction de la concentration en particules fines ?

De nombreux lots à gagner. Pour participer à ce challenge, la connaissance du langage Python est nécessaire

Big Data Paris 2020 aura lieu les 9 et 10 mars 2020
Lundi 9 mars de 8h30 à 19h – Nocturne à partir de 19h
Mardi 10 mars de 8h30 à 18h30
Palais des Congrès de Paris
2 place de la Porte Maillot
75017 Paris

Site et inscriptions

Microsoft ajoute deux services à Azure Analytics

Soumis par fredericmazue le

Microsoft vient d'enrichir sa plate-forme Azure Analytics de deux services : Azure Data Lake Storage et Azure Data Explorer.

Azure Data Lake Storage (ADLS) associe les fonctionnalités d'Azure Blob Storage à un système de fichiers hautes performances conçu pour l'analyse et compatible avec le système de fichiers distribué Hadoop. Microsoft souligne que cette compatibilité avec Hadoop était une de ses priorités. Pour assurer cette compatibilité, Microsoft a développé le pilote ABFS (Azure Blob File System). Le pilote ABFS fait officiellement partie d’Apache Hadoop et Spark et est intégré à de nombreuses distributions commerciales. 

Pour améliorer les performances d'analyse, Microsofrt a mis en place un espace de noms hiérarchique (HNS) qui prend en charge les opérations atomiques sur les fichiers et les dossiers. Microsoft assure que Le pilote ABFS et HNS suppriment les goulots d'étranglement et améliorent de ce fait considérablement les performances d'ADLS.

Azure Data Explorer (ADX) est un service d'analyse de données entièrement géré couçu pour l'analyse en temps réel de grands volumes de données en continu. ADX est capable d'interroger un milliard d'enregistrements en moins d'une seconde sans modification des données ou métadonnées requises. ADX inclut également des connecteurs natifs vers Azure Data Lake Storage, Azure SQL Data Warehouse et Power BI, ainsi qu'un langage de requête.

ADX est conçu avec deux services distincts qui fonctionnent en tandem: le service de gestion des moteurs et des données. Les deux services sont déployés en tant que clusters de nœuds de calcul (machines virtuelles) dans Azure.

Ignite 2018 : Orienté I.A et Big data, SQL Server 2019 est disponible en préversion

Soumis par fredericmazue le

Lors de la conférence Ignite 2018 qui se déroule durant toute la semaine, Microsoft a annoncé la disponibilité de SQL Server 2019 en préversion.

Depuis sa première mouture sortie en 1989, SQL Server évolue constamment. Dans ses versions récentes SQL Server est allé au delà des requêtes de bases de données relationnelles en unifiant données graphiques et relationnelles, et apportant le machine learning avec l'évaluation des modèles R et Python.

SQL Server continue dans cette tendance en faisant un bond en avant pour se positionner comme un outil d'Intelligence Artificielle et d'analyses avancées sur le Big Data.

SQL Serveur intègre HDFS (Hadoop Distributed Filing System) et Apache Spark et acquiert la possibilité de créer des grappes (clusters) de données très voluminueuses. Ces grappes de données sont déployées en tant que conteneurs sur Kubernetes avec un service de gestion intégré. Les utilisateurs peuvent ainsi bénéficier d'une expérience de gestion et de déploiement cohérente sur diverses plates-formes prises en charge sur site et dans le cloud: Azure Kubernetes Service (AKS), Azure Stack (sur AKS) et OpenShift sur Azure.

A noter encore l'arrivée de connecteurs pour accéder à des sources de données Mongo DB, Oracle ou Terradata. SQL Server 2019 virtualise les données afin de permettre des requêtes à travers des ensembles de données relationnelles ou non, sans déplacement de celles-ci, ni réplications.

SQL Server 2019, apporte encore la possibilité de créer des entensions en Java.

Retrouvez la note de version complète de SQL Server 2019 ici. 

SQL Server 2019 peut être téléchargé depuis son site officiel.

[video:https://www.youtube.com/watch?v=57nOSM51W2M autoplay:0]

Talend propose aux développeurs une sandbox pour mettre en oeuvre des scénarios de big data et de machine learning

Soumis par fredericmazue le

Talend a annoncé, lors de la conférence Strata Data à New York, une nouvelle sandbox qui permet aux développeurs et aux ingénieurs de données d'avoir accès à des technologies avancées de machine learning, afin qu'ils puissent facilement créer des pipelines de données intelligents. Avec la Sandbox Talend Big Data et Machine Learning et son guide d’utilisation, les ingénieurs de données peuvent utiliser des modèles prédéfinis, détaillés étape par étape, de machine learning et qui exploite Apache Spark, Spark Machine Learning Library (MLlib) et Spark Streaming, en quelques minutes et sans codage. Les personnes intéressées peuvent télécharger la Sandbox gratuitement ici.

« Il y a un énorme manque de compétences qui fait que les développeurs et les ingénieurs de données ont du mal à mettre en œuvre des scénarios de big data et de machine learning, afin de générer de la valeur  », déclare Ashley Stirrup, CMO de Talend.  « Le développement spécifique de scénarios d’intégration big data se révélent souvent problèmatique lors du passage à la production, avec des coûts de maintenance élevés, de nouvelles tâches d'intégration manuelle à effectuer et la re-implantation d'algorithmes de machine learning.  Avec la Sandbox Talend Big Data et Machine Learning, les équipes peuvent lancer des fonctionnalités de machine learning en quelques minutes, et faire plus rapidement le transition de la phase pilote à la mise en production. »

Quatre modèles prédéfinis de machine learning détaillés étape par étape, sont inclus dans un guide d’utilisation, avec la Sandbox Talend Big Data et Machine Learning. Les développeurs et ingénieurs de données peuvent rapidement démarrer avec un environnement entièrement configuré de traitement Spark et créer ainis de la valeur, en utilisant les scénarios prêts à l’emploi de Talend, notamment :

  • Moteur de recommandation : Automatise une offre de recommandation de films grâce au machine learning.
  • Moteur d'évaluation de risques en temps réel : Réduit les risques grâce à la prévision de prêts en temps réel.
  • Maintenance prédictive des objets connectés : Optimise les performances et le cycle de vie des distributeurs automatiques à l'aide des données de capteurs.
  • Optimisation d’un Data Warehouse : Décharge le traitement des données sur Spark pour une vision plus rapide et plus approfondie, à moindre coût.

NABD Conference 2018 : du réel pour apprendre

Soumis par francoistonic le

Cette semaine, Criteo organisait sa Not Another Big Data Conference. Si l’accent était mis sur les ateliers, une matinée était réservée aux sessions générales et les interventions se sont succédées à un rythme élevé la 2e journée.

Pour nous réveiller, Guillaume Bort a parlé « Making Criteo Functional ». Comme ça, on se demande : ah ouais c’est quoi ? Scala a été le thème principal. Au départ de Criteo, les technologies étaient .Net, SQL Server, mais après quelques années, Hadoop, Java se sont imposés. Rapidement, les langages fonctionnels ont été considérés et particulièrement Scala. Ce langage fonctionnel s’est imposé chez Twitter. La plateforme avait besoin d’une forte montée en charge et de disponibilité. À cela se rajoutent les problèmes liés aux Big Data, vu la quantité de données traitées. Scala c’est imposé. Mais Scala ne s’invente pas : il faut des outils, du monitoring. Aujourd’hui, il existe de nombreuses librairies pour Scala : Doobie, Cats, FS2. Elles permettent d’étendre Scala et surtout de faciliter son intégration son SI. Doobie permet l’accès aux données.  FS2 fait du streaming I/O. Pour la partie outil, les développeurs Criteo utilisent IntelliJ qui supporte parfaitement Java et Scala, mais ce support ne va pas sans problème parfois… Il a fallu un temps d’adapter. Pour la partie Big Data, Spark est compatible avec le langage. 

Mais comme Criteo a une forte culture Java, pourquoi ne pas fusionner Java et Scala ? L’opération a donné ScaVa, en s’appuyant sur la pile technologie Scala de Twitter avec les mêmes piles pour les données (Finagle, Scalding, Algebird).

Passer les développeurs d’un langage impératif à un langage fonctionnel n’est pas toujours évident. Au départ, il a fallu avoir un hybride entre les deux modèles puis de passer au modèle fonctionnel. Et l’éditeur a commencé à attirer les développeurs fonctionnels et notamment avec des profils très différents (OCaml, F#, Haskell). Ces compétences, que Criteo n’avait pas, ont permis d’étoffer les bonnes pratiques internes. 

Il faut oublier les mauvaises pratiques et les anciens patterns. Ce qui n’est pas forcément évident.  

Plusieurs outils ont été développés pour compléter l’outillage Scala tel que Cuttle, un scheduler pour Scala ou encore Slab pour créer des tableaux de bord de monitoring. 

On enchaîne avec Justin Coffey « From Just a Bunch of Engineers to Data Reliability. L’ingénierie de données est cruciale pour Criteo et il faut des experts. Un des problèmes est de savoir comment monter en charge et étendre les clusters. Le data engineering est une discipline à part entière, tout comme le data reliability engineering (DRE). Chez Criteo, le DRE est apparu avec les problèmes de BI lorsque Hadoop a commencé à s’imposer, mais il manquait parfois d’outils et de bonnes pratiques. Et il fallait gérer les actifs en production et assurer la transition vers Hadoop. Ce qui n’allait pas sans difficulté avec la croissance de la charge et que les premières casses infrastructures sont apparues. Il fallait fixer en attendre la casse suivante. Avec une infrastructure aussi énorme de Criteo, il fallait comprendre comment aller au-delà des limites des outils. Le fonctionnel a aidé à le faire avec les notions de l’idempotente, la gestion du changement des données, la capacité à rejouer les données et les scénarios liés. Il a fallu pour ça maîtriser MapReduce, Spark, le stockage par colonne, les architectures SGBD, les systèmes distribués. Cette ingénierie a permis de résoudre les charges de données. Avec toujours en ligne de mire : la scalabité, la garantie de la disponibilité, le tout en incluant de la data visualisation. Le rôle de SRE (Site Reliability Engineering) prend tout son sens avec l’expertise du code, l’automatisation des déploiements et l’opérationel des serveurs. 

La session promettait beaucoup avec son titre “Lies, Damn Lies and benchmarks”. Hakan Jakobsson évoque les problématiques de performances et comment les mesures concrètement. Il faut donc parler de benchmark, mais dans le monde de la donnée rien n’est simple comme il va nous le rappeler. Aujourd’hui, une référence dans le monde serveur et des données est le TPC et les multiples déclinaisons telles que les TPC-H et TPC DS. Car finalement, comment comparer et mesurer Hortonworks et Cloudera ou Hive et Impala ? Quel rôle du benchmarking ?

“Nous jurons que nous avons fait de mieux pour être juste avec notre concurrent” ou encore “notre solution a toujours l’avantage dans l’expertise des performances”. Vous l’aurez compris, le benchmark en données est un sujet sensible et durant 30 minutes, on prend conscience du problème depuis la fin des années 1970… 

Ainsi, on apprend, si vous ne le savez pas déjà, qu’il existe des clauses non divulgations de benchmarks sans autorisation de l’éditeur, ni de citer explicitement le nom des SGBD dans des travaux universitaires. C’est la clause DeWitt du contrat d’utilisation. Oracle va réagir un benchmarking qui n’est pas à l’avantage de leur base, c’est le début de cette fameuse clause. 

Le TPC va alors tenter d’établir des règles pour faire un benchmarking capable de comparer les SGBD. L’industrie y est très impliquée depuis son apparition fin des années 1980. Cette présence n’est pas sans influence sur les protocoles de tests et les critiques seront régulières sur les capacités réelles des tests à aller loin dans le stress des systèmes. 

Le conseil : créer son propre benchmarking quand c’est possible.

On termine les sessions plénières avec Matthieu Blumberg qui évoque “The concrete reality of the cloud”. Comme évoqué plus haut, au départ, Criteo utilisait des centaines de serveurs SQL Server, de la BI sur SQL Server, mais rapidement les limites des bases ont commencé à se faire sentir. Puis, Hadoop est arrivé. Un premier POC fut monté avant de généraliser. En 2011, Criteo avait environ 1000 serveurs, aujourd’hui, on dépasse les 25 000 ! Et il fallait supporter les fortes latences, une disponibilité délicate et le coût des infrastructures. 

En 2015, il y avait -3000 serveurs Hadoop, fin 2017, on est à 15 000 pour plus de +1 exaoctets de données à gérer, stocker, analyser. 

L’infrastructure est au cœur de Critéo. Aujourd’hui plusieurs datacenters dédiés sont déployés dans le monde et d’autres vont suivre. Le cluster doit fonctionner 24/7 avec la plus faible latence réseau possible. Le déploiement généralisé de Hadoop a obligé à redésigner une grande partie de l’infrastructure sur les nœuds, le réseau, l’énergie. Il faut penser le câblage des datacenters, utiliser au mieux les espaces.

Pour faciliter le travail, une véritable datacenter factory a été créée pour automatiser tout ce qui est possible avec les ingénieurs, les responsables de l’exploitation et les outils comme Ansible. 

Autre aspect parfois méconnu, le capacity planning, bref la planification. Prévoir les charges et les décharges est un élément important pour éviter tout stress inutile aux datacenters. Il faut pouvoir prévoir la saisonnalité, adopter les capacités disponibles, gérer les maintenances, etc. L’analyse du trafic est en temps réel avec x points d’accès, des datacenters partout dans le monde. L’improvisation n’a pas sa place. 

François Tonic

Troisième édition de Not Another Big Data Conference

Soumis par fredericmazue le

Criteo, entreprise spécialiste du Commerce Marketing organise la troisième édition de Not Another Big Data Conference (NABDC), l’évènement incontournable du Big Data créé par les développeurs pour les développeurs. Le NABDC se tiendra pendant deux jours le lundi 4 et mardi 5 juin 2018 dans les locaux de Criteo.

Cet événement désormais incontournable autour de la data sera axé sur deux thématiques, à savoir :

  • Lundi 4 juin, de 10h à 17h30 : Workshop sur le data engineering. Une journée d’ateliers dédiée à la compréhension des fondamentaux et des enjeux du Big Data, en présence de toute l’équipe de développeurs Criteo Data Reliability. Comment pouvons-nous utiliser Scala, Python et SQL pour faire des transformations de données ? Quelle est le bon langage dans telle ou telle circonstance ? Qu'en est-il de l'exploration des données ad hoc et du cycle de développement des données ? Comment pouvons-nous gérer des rapports réellement interactifs en plus des données TB ? Enfin, quelles sont les meilleures pratiques pour le suivi et l'organisation de tous les ensembles de données d'une entreprise ?
  • Mardi 5 juin, de 8h30 à 18h30 : Conférence principale autour de la data. Elle portera d’abord et avant tout sur la résolution des problèmes que rencontrent les développeurs et le partage de ces solutions.

Au cours de ces deux journées, 15 intervenants (Spotify, Google, Taboola, Twitter, Datadog, Université de Tours, et Criteo) prendront la parole, et plus de 150 développeurs sont attendus.

Vous pouvez retrouver le programme complet, les horaires et les speakers : ici

Du 4 au 5 juin 2018
au CriteoLabs
32 rue Blanche – 75009 Paris
(Métro Trinité d’Estienne d’Orves, ligne 12)

Talend dévoile de nouvelles formations avancées sur le Cloud et le Big Data

Soumis par fredericmazue le

Talend annonce de nouvelles formations conçues pour aider les développeurs à améliorer leurs compétences sur les technologies de pointe du cloud et du big data. Disponibles immédiatement, ces nouveaux cours sont basés sur des exercices pratiques qui maximisent l'expertise des collaborateurs, grâce à des outils de cartographie et de préparation des données dans le cloud. Ce programme de formation témoigne de l'engagement de Talend à former des professionnels qualifiés qui s'épanouiront en cette nouvelle ère de l'information, et qui contribueront aux initiatives de transformation numérique des entreprises.

« Suivre le rythme des technologies est difficile pour les entreprises, quelques soient leurs tailles. Bien que l'innovation est un puissant atout pour de nouvelles opportunités commerciales, elle révèle également des lacunes en termes de compétences dans les domaines du cloud et des big data, où la demande en personnels qualifiés est particulièrement élevée », déclare Carrie Anderson, Vice-Présidente en charge de la formation chez Talend. « Les entreprises orientées données doivent former leurs collaborateurs pour suivre l'évolution rapide des besoins du marché et des technologies émergentes. Ainsi, les cours de formation qui permettent aux développeurs d'acquérir une expérience pratique sur les derniers outils cloud et big data, aident les entreprises à acquérir un avantage concurrentiel. »

Les principaux ajouts au programme de formation de Talend incluent Data Preparation Cloud et deux cours avancés sur Talend Data Mapper. Talend Data Mapper Advanced--Spark forme les participants à tirer parti de la vitesse de traitement Spark sur les données hiérarchiques, et Talend Data Mapper Advanced-HL7 au traitement des informations, en conformité avec la norme Health Level Seven (HL7). HL7 est utilisée dans l’échange, l'intégration, le partage et la récupération d'information électronique de santé, entre acteurs et organismes (médecins, hôpitaux, compagnies d'assurance ou laboratoires d’analyses) qui effectuent des prestations ou services de santé.

Une liste complète des formations de Talend est disponible ici : https://fr.talend.com/services/training/catalog/.