big data

Congrès Big Data Paris 2018 : en route vers la 4ème dimension !

Soumis par fredericmazue le

Le sommet le plus influent de la scène Big Data hexagonale invitera les figures les plus emblématiques de la filière pour 2 jours d’immersion dans le futur de l’entreprise data-driven !

Au programme : des talks inspirants, des ateliers et retours d’expérience inédits d’hommes et de femmes visionnaires, fleurons de l’économie internationale, qui réinventent jour après jour les codes et usages de la data au sein de leurs organisations.

7ème édition :  vers une culture de la donnée partagée pour tous

De la construction d’une architecture solide et agile, au déploiement d’une culture data partagée par tous, la révolution data pousse les organisations à se réinventer dans une logique de Test & Learn permanente en investissant massivement dans les plateformes self-service !

Les thématiques phares du congrès

Fast Data : l’organisation à l’heure du temps réel !

Comment Kafka apporte le streaming au Big Data

Comment Alstom tire parti du cognitive search pour extraire la valeur des données de l’entreprise en temps réel

Connaissance client 360° et proposition d’offres en temps réel pour revaloriser les ventes de voiture

Prédiction du rendement et de la qualité du blé : valorisation du Big Data agricole

Les technologies de l’Intelligence Artificielle & du Machine Learning appliquées au Big Data

IA et Machine Learning appliqués au Big Data

Mise en qualité de la donnée grâce au Machine Learning

Tour d’horizon des technologies disponibles en open source

Big Data, Data science et Machine Learning au service du Crowdlending

Data Literacy : vers une démocratisation des données au service des métiers

Gouvernance des données pour la fiabilité du Big Data

Démocratiser l’accès à la donnée et faciliter les échanges IT/Métiers

Fin de l’usine à POCs : l’avènement de l’approche use-case driven ?

Quand les Big Data transforment le journalisme ; plongez au cœur des technologies derrière les Paradise Papers

Évolution règlementaire : RGPD : DERNIÈRE LIGNE DROITE !

Le pré-programme peut être consulté ici.

12 & 13 mars 2018, Palais des Congrès, PARIS

Zeenea : un logiciel au service d’une culture d’entreprise Big Data-driven

Soumis par admin le

Pour devenir Big Data driven, tous les employés d’une entreprise ont besoin d’un accès simple et rapide à des données organisées, de bonne qualité et sécurisées. De ce constat est née Zeenea, cette prometteuse start-up Française. Connectée au Data Lake des entreprises, Zeenea simplifie et automatise l'intégration et la préparation des données afin de délivrer un catalogue de données en libre-service et collaboratif. Fondée sur 4 principes, Zeenea accompagne les entreprises :

Cataloguez vos données

Il ne suffit pas de déverser des données brutes dans un Data Lake pour révéler le pouvoir des données. Pour y voir plus clair, Zeenea catalogue toutes les données du Data Lake dans un Data Catalog collaboratif. Véritable self-service de la donnée, le Zeenea Data Catalog permet aux équipes métiers (data scientists, business analysts, etc.) d’explorer plus facilement et plus rapidement les données de l'entreprise.

Sécurisez vos données

S’assurer de la bonne gouvernance des données et de leur sécurité est essentiel dans la construction d’une culture d’entreprise orientée data.  Zeenea aide les entreprises à sécuriser l’accès à certains jeux de données selon des contraintes d’autorisation ou encore de process.

Évaluez la qualité de ses données

Mal interprétées ou erronées, les entreprises s'exposent à fonder leurs décisions sur de mauvaises informations. Sont-elles à jour ? Sont-elles complètes ? D’où viennent-elles ? 
Zeenea monitore l’intégration des données dans le Zeenea Data Catalog et permet en un clin d’oeil d’avertir ses utilisateurs de la qualité et de la fraîcheur d’un jeu de données.

Détachez-vous de tâches fastidieuses

Un certain nombre de ressources humaines et budgétaires doivent être allouées à la préparation, l’organisation et le monitoring de l’ensemble de son Data Lake. Zeenea aide les entreprises  en simplifiant et automatisant l’intégration et la préparation des données du Data Lake dans le Zeenea Data Catalog.

Plus d’informations sur www.zeenea.com

Talend lance une nouvelle plateforme communautaire pour les développeurs autour des innovations big data et cloud en open source

Soumis par fredericmazue le

Talend dévoile sa nouvelle plateforme Talend Community, conçue pour améliorer la capacité des développeurs à collaborer, obtenir une assistance technique, partager leur expertise et ainsi rester à la pointe en matière d’intégration de données.

« Talend Community devrait être la première étape pour toute entreprise ou développeur se lançant dans un projet d’intégration de big data ou de cloud, de nouvelle génération », déclare Ashley Stirrup, directeur marketing de Talend. « Ce nouvel espace d’échange permet à nos clients, prospects, partenaires, et aux utilisateurs open source, de facilement collaborer et échanger sur leurs visions et connaissances techniques. Nous sommes impatients de continuer à développer cette communauté, qui a d’ores et déjà eu un impact considérable sur le développement de notre gamme de produits et sur le marché moderne de la gestion de données en général. »

Le nouveau site Talend Community permet également de gérer les téléchargements de Talend Open Studio, la gamme de produits open source de l’éditeur. Récemment les produits Talend Open Studio ont dépassé les 3 millions de téléchargements.

Pour plus d’informations sur la plateforme Talend Community : community.talend.com.

AWE s’équipe du dernier supercalculateur d’Atos pour soutenir la recherche de la Défense britannique

Soumis par fredericmazue le

Atos a remporté un contrat auprès d’AWE (Ministère de la Défense britannique) pour installer un nouveau supercalculateur Bull Sequana, l’un des ordinateurs les plus puissants au monde.

Le nouveau système, qui comprendra un supercalculateur Bull Sequana x1000 d’une puissance crête théorique de 4,3 pétaflops (4,3 millions de milliards d’opérations par seconde) bénéficiant de la technologie brevetée « Direct Liquid Cooling » de refroidissement à eau à température ambiante qui en fait la solution la plus dense et éco-responsable du marché, sera équipé du tout dernier interconnect « Mellanox EDR » et d’une appliance de stockage de haute performance « Lustre » d’une capacité d’entrées/sorties de 100 gigas par seconde.

En charge du programme d’AWE, le Ministère de la Défense britannique est au premier rang de la dissuasion nucléaire du Royaume-Uni depuis plus de 60 an, à travers notamment sa posture de dissuasion permanente (« Continuous at Sea Deterrence » ou CASD).

Dans le cadre du Traité d'interdiction complète des essais nucléaires (TICEN), AWE développe en permanence des méthodes pour garantir la sécurité et la fiabilité des ogives à travers un programme scientifique et informatique s’appuyant sur le supercalcul.

« Le calcul de haute  performance est un élément essentiel pour AWE et représente une partie importante de notre programme scientifique. C’est la raison pour laquelle nous cherchons constamment à optimiser nos travaux », explique Andy Herdman, Responsable  du calcul de haute performance chez AWE. À l’issue d’un appel d’offres, nous avons sélectionné Atos comme partenaire digital pour faire progresser nos capacités de supercalcul. AWE et Atos collaborent avec succès depuis 2010 et nous sommes convaincus que l’achat et l’installation du supercalculateur Bull Sequana nous permettra d’avancer rapidement dans nos recherches pour continer de garantir la sécurité et l’efficacité du programme Trident dans le cadre du TICEN. »

Pierre Barnabé, Directeur Général Big Data & Sécurité chez Atos ajoute : « À travers sa marque technologique Bull, Atos a fourni des générations de supercalculateurs. Nous sommes ravis du choix d’AWE d’installer le nouveau Bull Sequana X1000 qui lui donnera accès au meilleur de la technologie de calcul de haute  performance disponible pour gérer en toute confiance la simulation et la modélisation garantissant au Royaume-Uni le respect du TICEN. »

« Après l’institut de recherche Hartree Centre, AWE est le second organisme scientifique de premier plan au Royaume-Uni à s’équiper récemment d’un supercalculateur Bull Sequana. » complète Andy Grant, Responsable du Big Data et du HPC chez Atos au Royaume-Uni.

Bull Sequana offre un environnement multi cœur modulaire et flexible permettant d’accueillir de futures lames basées sur l’architecture ARM. Conçu notamment pour le Deep Learning, Bull Sequana sera capable à terme d’atteindre l’exaflops, soit un milliard de milliards d’opérations par seconde.

NABD Conference 2017 : ce n’est pas une autre conférence sur le Big Data

Soumis par francoistonic le
Image

Aujourd’hui, se tenait chez Criteo, la conférence NABD. Oui c’est une conférence très orientée big data mais ce n’est pas une autre conférence sur le sujet comme le dit le nom de l’événement. L’agenda est particulièrement riche, surtout l’après-midi et les sujets très variés : graphe, données historiques, time-series, Hadoop Yarn, deck.gl, etc. 

Nous avons retenu une des présentations de la matinée : moving to the cloud : a story from the tranches. C’est le récit terrain de Spotify, célèbre service de streaming de musique. Avouons que l’expérience vécue est intéressante car le service gère aujourd’hui 30 millions de chansons, 100 millions d’utilisateurs actifs. On image très bien le volume de données à traiter, notamment pour générer les playlists, les top selon les critères définis, etc. 

Spotify raconte que l’infrastructure a plusieurs fois changé : datacenter interne puis du cloud Amazon, puis retour au bare metal interne puis nouveau retour sur le cloud, mais cette fois-ci sur Google Cloud Platform, tout en gardant des serveurs Hadoop. Notez que le bare metal était monté à 700 machines… Et en 2014-2015, la décision fut prise de retourner sur le cloud… 

Spotify a considéré que le cloud était désormais mature, avec un coût moindre et la capacité de suivre la montée en charge du service. Un argument nous a beaucoup interpellé : la machine physique n’est pas pour nous un avantage compétitif. Cela veut dire qu’avoir de gros datacenters internes et maintenir une infrastructure importante n’apporte pas un avantage. Et si on va plus loin, on va parler de budget et de maintenance. Pourquoi le choix de Google, qui n’est parfois pas décrit comme un leader, à tord : « on pense que Google sera un leader sur les services de big data, et pour nous, c’est important ». Spotify a choisi Google pour les services big data et notamment Big Query. 

Mais on ne change pas une infrastructure Hadoop interne comme cela et il ne fallait pas casser le fonctionnement du service. La migration a démarré il y a 2 ans. Et plusieurs challenges ont été relevés, l’éditeur ne s’en cache pas. 

Le 1er challenge a été de construire les briques nécessaires pour migrer et fonctionner sur le cloud. Big Query peut être vu comme un Hive mais sans les noeuds Hadoop et les serveurs à gérer. Pour comparer l’avantage de l’offre Google, un petit benchmark a été fait sur la génération du top 10 des artistes français pour mai 2017 :

En Hive : 4055s et 21 To de données traités

En Big Query : 66s et 2,2 To de données traités

Une partie du travail a été de migrer les données vers le cloud et les process qui allaient avec, le lien Hadoop - Big Query a été essentiel à mettre en place. Et le copy jobs a tendance à stresser le réseau ou atteindre les limites de chargement de données sur Big Query. 

Ce changement de services d’infrastructure a permis à Spotify de supprimer plusieurs outils / solutions. Ainsi, Kafta a été remplacé par un cloud pub/sub. Il s’agit faire du message queue avec une volumétrie importante, plus de 800 000 événements par secondes et une latence très faible. Google DataFlow a été mis en place pour remplacer Spark et Flink. Spotify a développé une API Scala, Scio, pour assurer le lien entre Apache Beam et Dataflow. 

L’usage de Dataflow a permis de lancer un autre chantier : remplacer Storm et Map/Reduce. 

L’orateur met aussi en garde : le cloud n’est pas une ressource infinie et il n’y a pas de garantie de capacité pour les jobs hautement critiques. 

Le 2e challenge a été le chemin, bref : comment migrer les pipelines de flux sur le cloud ? Un des chemins pris a été d’utiliser des conteneurs, avec un cron distribué. Avec cela, l’opération était assurée par les serveurs internes. Et pour ordonnancer tout cela, un scheduler de jobs a été mis en place, avec Kubernetes. Pour faciliter l’exécution des « data processing jobs » sur la plateforme Google, les équipes ont développé une API dédiée : Spydra. L’outil est un des éléments de la migration de l’infrastructure de données interne vers Google. Spydra repose sur l’expérience des équipes et du cluster Hadoop déployée (2500 noeuds et 100 Po de capacités). 

L’autre chemin est la réécriture mais attention cela peut coûter très cher en temps et en budget. Donc méfiance… Le commentaire de la session est clair : « et pourquoi pas réarchitecturer ? »

Le 3e challenge a considérer et à relever concerne les dépendances et donc l’arbre de dépendances. Chez Spotify, cet arbre est énorme, avec de multiples sections et des dépendances plus ou moins importantes. La question a été de savoir comment faire 2000 jobs et 20 000 endpoints générés chaque fois sur le cloud de Google ? Méfiance donc. 

Mais clairement, le cloud est l’avenir même si le chantier est toujours en cours. Il faut avoir en tête le coût global, les risques de verrouillage technologique lié à un fournisseur ou encore se retrouver avec une boîte noire. 

Les points à retenir selon Spotify :

- ça en vaut la peine et nous sommes voués à réussir
- avoir conscience des ressources limitées du cloud
- avoir un chemin de migration et de fonctionnement clair et précis
- visualiser les progrès : c’est important pour avoir un suivi régulier du chantier

François Tonic

Forum Teratec 2017 : Les grands défis !

Soumis par fredericmazue le

Comme chaque année, le Forum TERATEC s'installe les 27 et 28 juin prochains sur le campus de l’Ecole Polytechnique. Pendant ces 2 journées, les experts échangeront sur les dernières avancées en termes de calcul hautes performances (HPC), Big Data et simulation numérique.

Plus que jamais, aujourd'hui, les grandes technologies numériques sont présentes dans les grands groupes industriels, mais pas seulement : les PME/PMI sont de plus en plus concernées !

"Défis technologiques et diversité des usages de la simulation et du Big data"

Témoignages d'industriels utilisateurs, réalisations de fournisseurs de technologies et de PME innovantes, rôle des pouvoirs publics dans le développement de ces technologies qui transforment profondément la recherche et l’industrie, … Les Sessions plénières du mardi 27 juin se font l'écho de la richesse et de la diversité de ces sujets.

Programme :

  • Vers une informatique prédictive et prescriptive: l'enjeu de la haute performance, le rôle de Teratec
    Par Gerard ROUCAIROL, président, TERATEC
  • Digitalisation – vue par l’industrie électrique
    Par Norbert LUETKE-ENTRUP, Head of Technology and Innovation Management, SIEMENS
    En savoir plus >>>
  • De l’Ingénierie Virtuelle Immersive, au Jumeau Hybride, et à la Performance Produit dans son Cycle de Vie total
    Par Alain DE ROUVRAY, Président Directeur Général, ESI-GROUP
    En savoir plus >>>
  • Le super-calculateur Post-K et le processeur ARM ISA de Fujitsu
    Par Toshiyuki SHIMIZU , Vice President of the System Development Division, Next Generation Technical Computing Unit, FUJITSU 
    En savoir plus >>>
  • La stratégie européenne CHP – l'Infrastructure de Données Européenne (IDE)
    Par Khalil ROUHANA, Directeur-Général Adjoint in DG CONNECT, COMMISSION EUROPEENNE
    En savoir plus >>>
    Comment le Big Data ouvre de nouveaux champs d’innovation dans les Sciences de la Vie, de la R&D à l’économie de la fonctionnalité ; l’expérience de Bayer en France
    Par Franck GARNIER, Président du Directoire, BAYER SAS
    En savoir plus >>>
    Comprendre la progression des maladies cardio-vasculaires grâce à la simulation numérique
    Par Jay D HUMPHREY, John C. Malone Professor of Biomedical Engineering, YALE
    En savoir plus >>>
  • Plate-forme et environnement de développement dans le Cloud pour le traitement performant des données HealthTech
    Par Francois ANDRY, Sr. Director, Enterprise Architecture, PHILIPS Healthcare
    En savoir plus >>>
    La rencontre entre grandes entreprises et start-up numériques, un facteur clé d'innovation
    Par Hervé MOUREN, Directeur de TERATEC

Et pour terminer la journée, rendez-vous pour la remise des 6 Trophées de la Simulation Numérique, organisée pour la 3ème fois, en partenariat avec L'Usine Nouvelle et L'Usine Digitale (En savoir plus >>>) et bien sûr, pour la soirée "jazzy" au bord du lac, moment convivial et musical.

Les mardi 27 et mercredi 28 Juin 2017 - Ecole Polytechnique, Palaiseau

Une nouvelle Big Data Sandbox de Talend pour Mapr Converged Data Platform

Soumis par fredericmazue le

Talend lance une nouvelle version de sa Big Data Sandbox, qui prend désormais en charge MapR Converged Data Platform. L’environnement virtuel préconfiguré permet aux développeurs de découvrir et d’expérimenter des cas d’usages prêts à l’emploi, et d’exécuter une distribution Hadoop avec un nœud unique. La Sandbox est proposée avec une évaluation de 30 jours de la version Winter’17 de la plateforme d’intégration Big Data de Talend.

« Notre nouvelle Big Data Sandbox est une solution idéale pour permettre aux développeurs de se faire la main sur les toutes dernières technologies de management des données. Aucun codage manuel n’étant nécessaire, ils peuvent ainsi mieux comprendre le cycle de vie d’un projet big data dans son intégralité », déclare Ashley Stirrup, directeur marketing de Talend. « En fin de compte, il s’agit d’acquérir l’expérience nécessaire afin de réduire les risques, gérer la planification des ressources, et raccourcir les délais de mise en production des déploiements big data. »

Talend Big Data Sandbox est une solution gratuite permettant aux clients d’expérimenter des technologies de pointe telles qu’Apache Spark, le machine learning ou différents composants de la plateforme MapR Converged Data Platform, avant de les intégrer en production. Dans cet environnement, même des utilisateurs disposant de connaissances techniques limitées peuvent créer des workflows d’intégration de big data.

La nouvelle Big Data Sandbox inclut également un guide d’utilisation contenant plusieurs scénarios réels prêts à l’emploi, détaillés étape par étape :

  • L’analyse en temps réel de données issues de sources multiples
  • La génération de recommandations marketing, en temps réel et personnalisées, basées sur les comportements des clients
  • L’analyse des données issues de l’internet des objets (IoT) 

Hortonworks Data Platform 2.6, une plateforme Hadoop 100% open source

Soumis par fredericmazue le

Hortonworks annonce la disponibilité d’Hortonworks Data Platform (HDP) version 2.6, une version dont les fonctionnalités tirent profit de la capacité d’innovation inhérente au modèle open source. HDP est une distribution open source Apache Hadoop à la fois sécurisée et conçue pour une utilisation qui soit en mesure de répondre aux besoins relatifs aux données statiques, d’alimenter en données les applications métier, et de fournir des informations analytiques susceptibles d’accélérer la prise de décision et l’innovation. 

“HDP 2.6 démontre bien les avantages qu’offre la communauté open source. Cette innovation majeure provient directement de la communauté Apache. C’est grâce à notre engagement à fournir une plateforme open source que nous sommes capables d’apporter à nos clients ce savoir-faire source de valeur ajoutée,” explique Scott Gnau, Directeur des Opérations chez Hortonworks. “HDP 2.6 introduit de nouvelles fonctionnalités clés et des améliorations de performance qui seront immédiatement accessibles à nos clients - sans qu’ils aient  besoin de réécrire leurs applications.”

Hortonworks est le premier fournisseur Hadoop à supporter Apache Hive 2.0 avec la fonctionnalité LLAP pour la mise en cache intelligente.

Par ailleurs, HDP 2.6 intègre de nouvelles fonctionnalités :

  • Data Science adaptative : une expérience utilisateur améliorée à destination des data scientists avec Spark 2.1 et la dernière version de Zeppelin.
  • Sécurité centralisée : parmi les améliorations de Ranger et Atlas, un temps de synchronisation réduit pour les entreprises devant gérer des bases utilisateurs importantes et un ajout simplifié et généralisé de politiques de sécurité d’un environnement sur un autre par le biais d’un support des politiques de sécurité reposant sur des tags pour les environnements Spark, Zeppelin, HDFS, Kafka et Hbase.
  • Opérations proactives et optimisées : configuration simplifiée de services et de composants quand un noeud au sein d’un cluster redémarre avec la dernière version d’Ambari. Prise en compte immédiate des opérations le plus fréquemment effectuées. Par ailleurs, SmartSense a été amélioré pour automatiser la mise en application des configurations recommandées en vue d’améliorer le cluster.

Hortonworks a rendu HDP 2.6 disponible sur Microsoft Azure HDInsight et Hortonworks Data Cloud for AWS. HDP 2.6 est également disponible sur IBM Power Systems.

La première suite logicielle open source et gratuite de data science est française !

Soumis par fredericmazue le

Verteego lance Verteego Data Suite, la toute première suite logicielle 100% open source et 100% gratuite,  couvrant toute la chaîne de valeur de la data science.

Rupert Schiessl, Directeur des Produits chez Verteego, raconte l'histoire de la Verteego Data Suite : "Il est très difficile aujourd'hui de recruter des data scientists, qui sont très demandés. Nous avons contourné cette difficulté en permettant à nos informaticiens de réaliser des projets de data science. Nous avons donc choisi des composants complémentaires allant de l'interconnexion d'applications à la librairie d'algorithmes de machine learning, en passant par le nettoyage des données, le scripting et la dataviz, pour permettre à nos propres ingénieurs R&D de profils informatiques de réaliser rapidement des prototypes ou des systèmes de production faisant appel au savoir-faire des data scientists. Cela n'en fait bien sûr pas des data scientists car ils sont informaticiens, et même développeurs pour être plus précis. En mettant cette suite à disposition du marché, nous ne faisons que partager un logiciel qui nous est très utile en interne et dont nous connaissons par conséquent parfaitement la valeur et les apports potentiels à la communauté de passionnés de data, comme nous."

Le choix de l'open source comme une évidence et une nécessité

Rupert Schiessl poursuit en expliquant comment l'open source s'est imposé comme une évidence : "Aujourd'hui, le marché bouge tellement vite que le risque est grand qu'entre le moment où les choix de conception sont réalisés et celui où le produit sort, ce dernier soit déjà obsolète. Chez Verteego, nous avons donc réfléchi à une architecture nous permettant de sélectionner au fil de l'eau les meilleurs composants open source. Dans ce contexte, nous assurons une veille technologique en continu, réalisons le travail d'unification d'une interface utilisateurs agréable malgré la diversité des composants de la Verteego Data Suite, et enfin mettons en oeuvre les moyens nécessaires à ce que les composants d'une part s'installent le plus simplement du monde, et d'autre part à ce que les données circulent d'un composant à l'autre."

La Verteego Data Suite (VDS) elle repose sur des leaders sur chacun de ses segments applicatifs :

  • Sur l'orchestration des flux de données, la VDS repose sur Apache NiFi, qui est une technologie en plein essor ;
  • Sur le nettoyage des données, la VDS repose sur OpenRefine, qui est une technologie mise en open source par Google ;
  • Sur les notebooks permettant aux statisticiens et aux développeurs de scripter en Python, en R, en Scala, en Bash ou en tout autre langage, la VDS repose sur Jupyter, une brique très répandue chez les data scientists ;
  • Sur l'analyse et la visualisation des données, la VDS repose sur Superset, qui est une technologie qui avait été conçue par les équipes d'Airbnb pour l'exploration et la visualisation de leurs masses de données ;
  • Enfin, sur la librairie d'algorithmes prédictifs, la VDS repose sur H2O.

Du Smart Data plutôt que du Big Data

La Verteego Data Suite n'est pas une distribution de Hadoop. Elle ne vient pas remplacer l'environnement Big Data client mais au contraire l'enrichir d'une brique d'exploitation des données. Rupert Schiessl précise : "La Verteego Data Suite vient se connecter à des systèmes de gestion des fichiers, quels qu'ils soient, ou à des systèmes de messagerie de type Kafka. La Verteego Data Suite a pour objectif de permettre à son utilisateur d'extraire de la valeur business aux données, tant au stade du prototypage que de la production à grande échelle car les composants retenus s'adaptent à tous types de problématiques de la vie des entreprises."

Verteego souhaite, en mettant à disposition la Verteego Data Suite, constituer en écosystème sa communauté de data scientists et de développeurs passionnés de data.

Le lien vers la page GitHub depuis laquelle la Verteego Data Suite peut être installée gratuitement est ici : http://verteego-dss-doc.readthedocs.io/en/latest/

[video:https://www.youtube.com/watch?v=ZjJ3EtYBGAk autoplay:0]

Talend : une solution de préparation de données pour le Big Data sur Apache Beam

Soumis par fredericmazue le

Talend présente une solution de préparation de données pour le big data en libre-service, sur Apache Beam. Devenu un projet de premier plan de la fondation Apache, Apache Beam est un modèle de programmation unifié qui permet d’exécuter des pipelines de flux de données par lots (batch) ou en flux continu (streaming), avec la possibilité de les exécuter sur une variété de plateformes. Talend Data Preparation est une solution en libre-service permettant à davantage d’employés d’accéder, de nettoyer et d’analyser d’important jeux de données. La combinaison Apache Beam et Talend Data Preparation est conçue pour aider les entreprises à accélérer la prise de décision, en permettant à un plus grand nombre d’utilisateurs de créer des projets de données qui peuvent être exécutés sur l’ensemble des dernières innovations technologiques liées au traitement de données.

« Aujourd’hui, les entreprises doivent pouvoir accéder plus facilement à des données propres et utilisables, afin de générer des informations qualifiées en temps réel au sein de leur organisation », déclare Laurent Bride, directeur technique de Talend. « Cependant, l’innovation technologique étant de plus en plus soutenue, les responsables informatiques doivent souvent faire face au risque que leurs investissements deviennent rapidement obsolètes, voire même qu’ils fassent obstacle à la croissance future de leur entreprise. Nous sommes convaincus qu’Apache Beam représente l’avenir : ce modèle évite d’avoir à réécrire des applications au gré des innovations, de migration de systèmes vers le cloud ou en cas d’alternance de styles d’intégration. L'utilisation de Beam pour Data Preparation permettra à nos clients de créer une seule fois leurs modèles de préparation de données et de les exécuter n’importe où, bénéficiant ainsi d’une agilité sans précédent. »

Les capacités de préparation des données de Talend permettent de :

  • Accéder à n'importe quelle source de données, qu'elle soit hébergée dans Hadoop, sur le cloud ou dans des bases de données traditionnelles, puis de les partager entre utilisateurs et groupes de travail pour encourager la collaboration.
  • Utiliser un dictionnaire de données préconfiguré pour reconnaitre automatiquement la signification de données brutes d’un data lake, ainsi que d’enrichir ce dictionnaire avec son propre vocabulaire, tel que les codes ou noms de produits de l’entreprise.
  • Décrire de nouvelles données de manière participative depuis des données ouvertes (open data) et/ou la communauté Talend.

Plus d'informations : www.talend.com/blog