Hadoop

Talend v5.3

Soumis par fredericmazue le

Talend, éditeur de logiciels open source, annonce la disponibilité de la version 5.3 de sa plate-forme d’intégration, un environnement unifié conçu pour l’intégration de données, d’applications et de processus métiers. Avec la version 5.3, Talend explique repousser les limites de compétences et de développement liés à l’exploitation des Big Data et d’Hadoop, en permettant à tout développeur spécialisé dans l’intégration de maîtriser les plates-formes de Big Data sans expertise spécifique de ce domaine.

« Hadoop et NoSQL font évoluer les pratiques des entreprises en matière de gestion et d’analyse de données, mais jusqu’à présent il était difficile de travailler avec ces technologies. La rareté des compétences spécialisées, requises pour gérer ces environnements, continue d’être une barrière significative qui freine leur adoption et leur généralisation » déclare Fabrice Bonan, co-fondateur et CTO de Talend. « Talend 5.3 fournit des outils qui dissimulent la complexité inhérente à l’exploitation des Big Data, pour transformer tout spécialiste de l’intégration en expert du développement Big Data. »

Selon un rapport récent de Gartner, Inc. : « Dans les 24 à 36 mois prochains mois, les entreprises seront confrontées à un défi majeur. Elles devront recruter, intégrer, fidéliser et former des spécialistes très pointus du management de l’information et de l’analytique. En première ligne, on trouve des data scientists, des responsables de l’information, des data stewards, des chief data officers et des architectes de l’information. »

Des outils pour générer du code 100% MapReduce

Talend v5.3 génère du code Hadoop en natif et assure des transformations de données directement dans Hadoop pour garantir une montée en charge maximale. En tirant parti de l’architecture MapReduce dans le cadre de traitements de données hautement distribués, les développeurs sont en mesure de créer leurs jobs dans Hadoop sans nécessiter des compétences de programmation spécifiques.

Mapping graphique pour processus complexes

Les Big Data sont synonymes de complexité. Elles requièrent des compétences avancées pour modéliser les algorithmes et les calculs les plus complexes. La nouvelle fonctionnalité de mapping graphique conçue spécifiquement pour prendre en charge les Big Data et particulièrement le langage Pig, permet à tout développeur de construire, en mode graphique, un flux de données consistant à prendre des données source et à les transformer à l’aide d’un mapper graphique. Plutôt que de recourir à une programmation manuelle, les développeurs Hadoop familiarisés avec Pig Latin utiliseront ce mapper pour développer, tester et prévisualiser rapidement leurs jobs au sein d’un environnement graphique.

Support NoSQL complémentaire

Talend v5.3 ajoute à ses solutions Talend Platform for Big Data et Talend Open Studio for Big Data le support des bases de données NoSQL, à travers un nouvel éventail de connecteurs dédiés à Couchbase, CouchDB et Neo4j. Reposant sur la technologie d’intégration open source de Talend, Talend Open Studio for Big Data est une solution open source dédiée à l’intégration des Big Data et supportant en natif Apache Hadoop, avec des connecteurs dédiés à Hadoop Distributed File System (HDFS), HCatalog, Hive, Oozie, Pig, Sqoop, Cassandra, HBase et MongoDB, en plus de 450 connecteurs inclus nativement dans le produit. L’intégration de ces plates-formes dans Talend Open Studio for Big Data veut aider les entreprises à migrer et synchroniser des données entre des bases de données NoSQL et tous les autres systèmes et bases de données.

« La suite Talend est facile et rapide à prendre en main. Nous sommes particulièrement impressionnés par la simplicité avec laquelle il est possible d’étendre la solution » déclare Michael Schulz, Data Warehouse Manager chez mobile.de. « La technologie de Talend nous aide à passer en douceur d’une solution conventionnelle de data warehouse à une plus moderne, supportant l’intégration et l’évaluation de sources Hadoop. En choisissant Talend, nous bénéficions d’une solution informatique puissante et  pérenne ».

Disponibilité

La version 5.3 de Talend Open Studio for Data Integration, Talend Open Studio for Data Quality, Talend Open Studio for MDM, Talend Open Studio for ESB et Talend Open Studio for Big Data sont disponibles dès maintenant en téléchargement libre sur le site Web de Talend www.talend.com. Les versions 5.3 commerciales disponibles sur souscription, seront accessibles le 18 juin aux clients de Talend dans le cadre de leur accord d’abonnement. 

Big Data Paris 2013

Soumis par fredericmazue le

Le congrès Big Data Paris s’est imposé en 2012 comme le rendez-vous de référence pour tous les décideurs qui souhaitent exploiter au plus près les gisements de données stratégiques liées à leur secteur : en mars dernier, ce n’étaient pas moins de 700 personnes qui s’étaient rassemblées pour venir écouter les conférences d’experts et découvrir les stands d’exposition. Pour une première édition, c’était un signe fort de l’intérêt du marché français pour ce nouveau phénomène.

En cette année 2013, le Big Data a évolué : il est devenu incontournable, omniprésent sur les sites technologiques comme dans les conversations stratégiques, en pleine mutation vers les applications business qu’il vise à rénover de fond en comble (marketing, logistique, ressources humaines, etc…). Les projets se multiplient et commencent à porter leurs premiers fruits : on s’applique désormais à créer dans les grandes entreprises des équipes projet dédiées à l’implémentation du Big Data, et des PME spécialisées dans l’analyse de ces données multiples fleurissent à grande échelle.Le marché français s’est structuré dans l’intervalle de cette année et la demande n’a jamais été aussi forte.

L’édition 2013 du congrès Big Data Paris s’efforcera de prolonger cette tendance en amplifiant les services proposés en 2012 :

• La conférence d’experts s’étoffera encore davantage (près de 100 speakers sont attendus) et sera surtout structurée autour de pôles thématiques bien déterminés : des enjeux stratégiques en conférence plénière le matin, des enjeux métiers l’après-midi (en tracks marketing, industrie, SI, décisionnel, scientifique) et des retours d’expérience en ateliers projets le matin également (en parallèle des conférences plénières)

• L’exposition sera également agrandie (plus d’une cinquantaine d’exposants sont attendus) et proposera aux visiteurs des démonstrations de produits par sessions d’une demi-heure au coeur du salon

• Des rendez-vous d’affaires seront organisés à travers une plateforme dédiée

• Et un trophée sera remis aux acteurs les plus innovants de la sphère Big Data

En proposant à ses visiteurs un événement complet pour s’informer, rencontrer, échanger et communiquer autour du Big Data, le congrès Big Data Paris vise avant tout à répondre aux besoins des acteurs du marché, qu’ils soient fournisseurs ou utilisateurs (l’année dernière, les utilisateurs représentaient 35% des participants),français ou étrangers (environ 25% de visiteurs étrangers sont attendus) ou de profil institutionnel (universitaires, décideurs administratifs, journalistes…).

Au total, ce ne sont pas moins de 1200 personnes qui sont attendues pour venir échanger les 3 et 4 avril prochains au coeur du CNIT à la Défense…

Venez à votre tour les rencontrer et découvrez l’immense potentiel de croissance porté par le Big Data !

Plus d’infos sur :

-          Le programme de conférence : http://www.bigdataparis.com/2013-fr-programme.php

-          Les intervenants : http://www.bigdataparis.com/fr-liste-des-speakers.php

-          Les partenaires : http://www.bigdataparis.com/2013-fr-partenaires.php

 

Inscription sur http://www.bigdataparis.com/fr-inscription.php

HP : des serveurs conçus pour le Big Data

Soumis par fredericmazue le

HP a dévoilé un  serveur conçu pour les besoins spécifiques des infrastructures Big Data. Le constructeur souligne que l’émergence des solutions Big Data et les promesses qui les accompagnent ont poussé de nombreuses organisations à déployer ces solutions sur leurs architectures existantes. Or, ces architectures présentent différents inconvénients : multiplication des serveurs et des baies de disques, prolifération du câblage, problématiques d’espace, de refroidissement, d’administration, de performances et, in fine, de coût total de possession.

Les nouveaux serveurs de la gamme HP ProLiant SL4500 sont conçus pour apporter une réponse à ces problèmes. Ils proposent :

  • une densité sans équivalent : jusqu’à 240 To dans un seul serveur et 2,16 Po par rack 42 U. soit 2,6 fois plus que les capacités des architectures existantes.(2)
  • un ratio capacité de traitement / volumétrie de données par serveur adapté aux typologies d’applications Big Data.
  • une réduction très importante des besoins d’interconnections
  • une administration simplifiée et unifiée

3 configurations sont disponibles :

configuration 1 nœud 60 disques LFF : principalement dédiée aux NAS évolutifs, à l’archivage et au stockage en mode objet (Open Stack, Red Hat,…), cette configuration est la plus dense.

configuration 2 nœuds 25 disques LFF : une configuration que le constructeur présente comme adapté aux projets de messagerie d’entreprise.

configuration 3 nœuds 15 disques LFF : cette configuration propose 15 disques LFF et trois nœuds dans un châssis pour adresser les besoins des environnements Hadoop / MPP.

La configuration 3 nœuds 15 disques ne sera disponible qu'en début d’année prochaine.

Microsoft mise sur le big data, la data warehouse et la BI

Soumis par francoistonic le

Lors de la conférence PASS 2012, Microsoft a dévoilé plusieurs nouveautés à venir touchant le big data et hadoop, les données non relationnels, le in-memory, la BI.

Tout d’abord, Microsoft dévoile le projet Hekaton, un modèle in-memory pour le traitement des transactions. Il sera directement intégré dans la prochaine version de SQL Server. Il s’agit de renforcer les fonctions in-memory actuelles. Les performances sont annoncées en fortes hausses avec des facteurs 10 à 50.

Sur les très gros volumes, Microsoft sortira dans quelques mois, SQL Server 2012 Parallel Data Warehouse. Cette solution intégrera PolyBase. Polybase est un nouveau moteur de traitement pour exécuter des requêtes à travers les données relationnelles et non relationnelles (données hadoop). Ce qui a tout son sens avec la généralisation des données NoSQL et non relationnelles. PolyBase offre donc des traitements globaux pour mieux tirer partie de toutes les données. Une requête PolyBase est une requête T-SQL. D’autre part, le data warehouse sans puissance et performance n’a pas beaucoup d’intérêt. Microsoft a affirmé avoir refondu l’architecture et les contraintes matérielles.

Sur la partie Big Data, Microsoft peaufine sa stratégie et ses outils avec HDInsight Server et Windows Azure HD Insight Service. L’éditeur avait dévoilé il y a plusieurs mois de cela, une première approche Hadoop pour Azure, HD Insight veut aller plus loin sur le cloud et sur Windows Azure. Les pré-versions sont disponibles depuis le 26 octobre dernier. Le but est de simplifier le déploiement et l’utilisation d’Hadoop sur les environnements Windows. L’outil évolue régulièrement pour rajouter de nouvelles fonctions (Hive, Pig, Hadoop Common…).

Microsoft croit beaucoup aux outils d’analyse et de business intelligence pour les utilisateurs et les professionnels. Plusieurs annonces ont été faites à PASS. Tout d’abord, l’arrivée prochaine (2013 ?) de la fonction Power View travaillant sur des cubes multidimensionnels. Surtout, SQL Server 2012 SP1 apporte plusieurs améliorations BI : BI en libre service, meilleure intégration de BI dans Office 2013 (et surtout Excel pour faire de la visualisation de données dynamiques). La BI mobile se renforce sur iOS, Android et Windows Phone / tablettes Windows avec les disponibilités d’applications natives sur les différentes plate-formes (basées sur HTML 5). Mais il faudra attendre la mi-2013 ! Par contre, l’iPad est supporté dès maintenant pour la partie reporting, via le SP1 de SQL Server.

 

Enfin, SQL Server 2012 SP1 est disponible en téléchargement avec de nombreuses nouveautés et améliorations : tous les détails sur http://msdn.microsoft.com/en-us/library/bb500435

Tous les détails des annonces ne sont pas encore connus. De nouveaux éléments seront dévoilés par Microsoft les 8 et 9 novembre.

Twitter rejoint la fondation Linux

Soumis par fredericmazue le

Le site de micro blogging rejoint la Fondation Linux, et rejoint ainsi d'autres géants de l'informatique comme Oracle, IBM, HP, Google, Intel, Samsung, etc. Cette arrivée au sein de la fondation sera officialisée lors de la prochaine LinuxCon.

Twitter est un gros utilisateur de l'open source : Linux sur ses serveurs, et, entre autres Cassandra et Hadoop pour la gestion des gros volumes de données. Sa décision de rejoindre la fondation, qui est un cadre neutre dans lequel ses membres peuvent discuter et collaborer sur le développement de Linux, n'a donc rien de surprenant.

"La capacité de Linux à être fortement adapté est fondamentale pour notre infrastructure technologique. En rejoignant la Fondation Linux, nous soutenons une organisation qui est importante pour nous et nous collaborons avec une communauté qui fait avancer Linux aussi rapidement que nous améliorons Twitter", a ainsi expliqué Chris Aniszczyk, le responsable de l’open source chez Twitter.

Pour marquer cette arrivé, la fondation organisera le semaine prochaine un au cours duquel sera faite une présentation : "La technologie Open Source derrière un tweet".

SAS Visual Analytics, une solution in-memory d'annalyse et de visualisation des Big Data

Soumis par fredericmazue le

SAS lance une nouvelle solution de business intelligence in-avec laquelle les entreprises peuvent notamment :

  • Mettre en œuvre la puissance de SAS Analytics sur des quantités massives de données.
  • Explorer visuellement les données avec une rapidité et une ergonomie incomparables.
  • Partager leurs découvertes avec qui elles veulent, où que ce soit, sur le Web ou via un iPad.

SAS Visual Analytics combine les outils analytiques de référence du marché, une architecture in-memory exclusive, des outils intuitifs d’exploration de données, la prise en charge du modèle distribué Hadoop et différentes options de restitution, notamment sur tablette iPad. Cette solution est actuellement le seul moteur in-memory spécifiquement conçu pour la visualisation d’environnements « Big Data ».

« La vitesse de traitement que confère l’architecture in-memory constitue un avantage considérable », explique Dan Vesset, Vice-président du programme de recherche en Business Analytics d’IDC. « Les entreprises peuvent désormais explorer des quantités massives de données et obtenir en quasi-temps réel des réponses à des questions critiques. SAS Visual Analytics offre même un ‘double bonus’ : la vitesse de l’analytique in-memory jumelée au fonctionnement en libre-service élimine les traditionnels délais requis lorsque les rapports doivent être générés par le département informatique. Chaque entreprise doit en effet aujourd’hui appuyer ses décisions sur des informations analytiques obtenues à l’issu d’un processus aussi instantané que possible ».

 « SAS Visual Analytics permet aux utilisateurs en entreprise d’explorer visuellement les données et ce en toute autonomie », souligne Jim Goodnight CEO de SAS. « On est très loin des lourdeurs des systèmes de requêtes et de reporting traditionnels. En outre, SAS Visual Analytics fonctionne sur des serveurs lame standards et économiques et son architecture in-memory à hautes performances permet d’obtenir des réponses pertinentes en quelques minutes ou secondes – au lieu d’attendre plusieurs heures voire des jours ».

« Le cœur de SAS Visual Analytics s’appuie sur notre serveur analytique innovant SAS® LASR™ qui accélère radicalement l’exploration et la visualisation des données. Nous étendons progressivement ce moteur analytique in-memory à tout notre portefeuille de logiciels de façon à porter toutes les innovations et technologies analytiques que nous avons conçues au cours des 35 dernières années dans les environnements Big Data », ajoute Jim Goodnight. « Avec ses fonctionnalités de publication sur mobile et de visualisation graphique, SAS Visual Analytics est une solution sans égale sur le marché ».

Composant central de SAS Visual Analytics, SAS LASR Analytic Server exploite le système distribué Hadoop (Hadoop Distributed File System) sur le serveur local de stockage pour maximiser la tolérance aux pannes.

SAS Visual Analytics intègre en outre les composants suivants :

  • Mobilité – Outil de visualisation des rapports, de connexion aux serveurs et de téléchargement d’informations à distance.
  • Explorateur – Outil dédié à la découverte, la visualisation, l’exploration et l’analyse des données.
  • Designer – Module de création de rapports et tableaux de bord standards et personnalisés.
  • Administration – Système de gestion de l’environnement permettant aux administrateurs de gérer les utilisateurs, la sécurité et les données.

Les composants serveur fonctionnent sous Linux (Red Hat ou SUSE), le client mobile est disponible pour iPad sur iTunes App Store. D’autres périphériques mobiles seront prochainement pris en charge.

Les configurations de référence de SAS LASR Analytic Server débutent par un serveur à 8 lames et 96 cœurs équipé de 768 Go de mémoire et de 4,8 To de stockage disque. La configuration de référence supérieure est constituée d’un serveur à 96 lames, 1 152 cœurs, 9,2 To de mémoire et 57,6 To d’espace disque.

Site : http://www.sas.com/technologies/bi/visual-analytics.html

Informatica 9.5 intègre Hadoop

Soumis par fredericmazue le

Informatica présente aujourd’hui les avancées de la plate-forme Informatica 9.5 permettant aux entreprises d’intégrer et exploiter pleinement Hadoop.

Informatica 9.5 libère la puissance de Hadoop grâce à des capacités nouvelles et étendues en matière d’interopérabilité, de productivité et de facilité d’administration, permettant aux entreprises de maximiser le retour sur les données Big Data :

  • Interopérabilité étendue grâce à l’accès aux données, y compris les données des médias sociaux, et à la possibilité de les déplacer vers Hadoop en différé ou en temps réel.
  • Gains de productivité, grâce à la possibilité de concevoir graphiquement les tâches et workflows d’intégration de données puis de les déployer et de les exécuter nativement dans Hadoop.
  • Gestion facilitée de toutes les données de l’entreprise, y compris les données Hadoop, grâce à l’utilisation d’une plateforme d’intégration de données commune.

« Hadoop ne peut pas être un îlot isolé du reste de l’environnement IT. Pour que cette technologie soit vraiment intégrée et pleinement exploitée, les clients doivent pouvoir gérer Hadoop comme une composante à part entière de leur environnement informatique, réutiliser pour et avec Hadoop les compétences en développement ainsi que les actifs et les données qu’ils possèdent, et gouverner l’ensemble des données de manière globale et cohérente », explique James Markarian, Chief Technology Officer d’Informatica. « Informatica 9.5 apporte aux organisations l’interopérabilité, la productivité et les capacités de gestion dont elles ont besoin pour adopter rapidement Hadoop et maximiser le retour sur les données Big Data. »

Interopérabilité étendue avec accès aux données sociales et intégration en temps quasi réel dans Hadoop

L’informatique sociale poursuit son développement fulgurant et les entreprises sont nombreuses à vouloir exploiter les données sociales pour une meilleure connaissance de leurs clients et des marchés. Informatica 9.5 offre des fonctionnalités d’intégration étendues permettant de capturer les données sociales, de les déplacer dans Hadoop, au rythme et avec la latence voulus en utilisant le mode différé, le streaming ou la réplication. Les nouvelles fonctionnalités incluent:

  • la connectivité accrue pour les données sociales – Informatica 9.5 prend en charge les flux Twitter et offre une API pour les fils RSS, ATOM et autres protocoles de flux web.
  • la réplication de données en temps quasi-réel dans Hadoop – Dans Informatica 9.5, Fast Clone et Data Replication HDFS prennent en charge les snapshots de grands volumes de données et la réplication en temps quasi-réel dans Hadoop.

Microsoft lance SQL Server 2012 RTM

Soumis par fredericmazue le

Microsoft lance la version finalisée (RTM) de SQL Server 2012, sa plateforme de gestion de l’information optimisée pour le Cloud. Microsoft affiche en outre une volonté claire de se positionner sur le Big Data avec la disponibilité d’une nouvelle version préliminaire des services Apache Hadoop dans Windows Azure.

« Avec SQL Server 2012, Microsoft poursuit trois grands objectifs : devenir la plateforme de référence des applications critiques de l’entreprise, offrir une solution décisionnelle toujours plus complète intégrant la dimension Big Data, et enfin permettre la meilleure connexion possible au Cloud » explique Jérôme Trédan, Directeur des produits serveurs et plateformes de Cloud computing chez Microsoft France. « Nous continuons à innover massivement (170 nouvelles fonctionnalités et améliorations), tout en affichant un TCO extrêmement agressif. »

Les enjeux du Big Data

Microsoft souligne que le cabinet d’études Gartner estime que le volume des données dans le monde croît à un taux de 59% par an, dont 70 à 85% sous une forme non-structurée. Engagé autour du Big Data, Microsoft annonce une nouvelle version préliminaire d’un service Apache-Hadoop pour Windows Azure. « Nous continuons ainsi l’intégration toujours plus forte du Big Data dans nos offres SQL Server et les outils décisionnels associés tels que PowerPivot pour Excel et Power View » explique Jean-Marc Monfort, Chef de Produit SQL Server chez Microsoft France.

Pour télécharger la version d’évaluation de SQL Server 2012, rendez-vous sur ce lien.

SpringHadoop : aider les développeurs à concevoir les applications de Big Data

Soumis par fredericmazue le

VMware annonce la disponibilité de SpringHadoop, dernier né de la suite de projets Spring Data. SpringHadoop intègre le frameworkSpring ainsi que la plateforme Apache Hadoop, et et est conçu pour simplifier la conception de solutions de traitement réparti avec Apache Hadoopau profit des développeurs en entreprise.

« VMware s’efforce d’aider les développeurs à construire, déployer, gérer et ajuster la nouvelle vague d’applications axées sur les données », déclare Adrian Colyer, Directeur Technique des services et applications cloud chez VMware. « VMware s’appuie sur l’expérience forte et polyvalente de Spring autour de la simplification de l’accès aux données et tire parti de la plateforme complète Hadoop pour livrer un modèle de programmation rationnalisé faisant de Spring la méthode naturelle d’intégration des systèmes Hadoop au sein du paysage applicatif de l’entreprise. »

VMware souligne que SpringHadoop livre les avantages de Spring en matière de simplicité et de facilité d’utilisation sur la plateforme Hadoopavec un framework complet, léger et permettant aux développeurs de concevoir des solutions sur la plateforme en toute simplicité. Le choix en matière de volumes et d’accès aux données s’étant élargi de façon exponentielle, Spring a poursuivi ses efforts pour permettre aux développeurs Java d’intégrer de nouveaux modèles d’accès aux données au sein de leurs applications grâce aux projets Spring Data.

SpringHadoop est disponible dès aujourd’hui en téléchargement sous la licence open source Apache 2.0.Voici les caractéristiques principales de SpringHadoop :

  • prise en charge de la configuration, de la création et du traitement via MapReduce, Streaming, Hive, Pig, et Cascadinggrâce au conteneur Spring ;
  • prise en charge complète de l’accès aux données HDFS grâce aux langages de script Java (Groovy, JRuby, Jython, Rhino, etc.) ;
  • prise en charge dédiée de Spring Batch pour le développement de puissantes chaînes de traitementintégrant les opérations HDFS et tous types de tâchesHadoop ;
  • prise en charge de SpringIntégration permettant l’accès simplifié à une large gamme de systèmes existants grâce à une architecture extensible de connecteursorientés événements et de filtres ;
  • de puissantes options de configuration et de mécanismes de création de modèles pour les connexions client à Hadoop ;

 

Projet Daytona : une MapReduce pour Azure

Soumis par francoistonic le

Si Microsoft travaille activement à Hadoop pour Azure, une équipe de Microsoft Research travaille sur un autre projet, tout aussi important : Daytona. Il s'agit d'une implémentation, sous forme d'un runtime à déployer sous Azure, de MapReduce. MapReduce est à la base de Hadoop et est capable de distribuer les données sur des centaines de serveurs pour traiter, analyser les données.

Ce projet rentre dans le cadre d'un groupe de travail sur le cloud interne à Research.

il est possible de développer ses propres algorithmes de calculs qui seront ensuite injectés à MapReduce. Aujourd'hui, on peut utiliser ces algos dans des applications clientes simples, en attendant une intégration aux services BI (par exemple). 

Les priorités de Daytona sont :
- conçu pour le cloud aussi bien bien pour un IaaS ou un PaaS. Le but est de garantir une bonne utilisation des machines virtuelles / instances. 
- utiliser au mieux les ressources de stockages tout en minimisant les effets du overhead
- utiliser en temps réel les nouvelles ressources provisionnées pour Daytona

Source et téléchargement : cloudmagazine.fr