300 likes | 476 Views
Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France François Simoës – V- Traffic Sébastien Etcheverry – V- Traffic. Merci à nos sponsors. Plan. Introduction (3’) Nouveautés HDInsight (22’) PowerShell, wasb , Templeton , Python, .NET, … Démo
E N D
Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France François Simoës – V-Traffic Sébastien Etcheverry – V-Traffic
Plan • Introduction (3’) • Nouveautés HDInsight (22’) • PowerShell, wasb, Templeton, Python, .NET, … • Démo • V-Traffic (25’) • Autres utilisations d’HDInsight (3’) • Combien ça coûte ? (3’) • Conclusion
Windows Azure HDInsight Where Big Data Meets the Cloud • 100% Apache Hadoop solution in the cloud • Insights through Excel • Deployment agility • Hadoop with Enterprise security and manageability • Develop in .NET and Java • Built on Hortonworks Data Platform (HDP) Get Started with HDInsight: http://tinyurl.com/hdinsight
Promoting open Hadoop with strategic Hortonworks partnership + Hortonworks Data Platformfor Windows HDInsight 7
Architecture BI and analytics Sqoop Oozie Collaboration Corporate apps Data search Self-service Azure UX Azure SDK Templeton RDP Hive Pig HCatalog Ambari HDInsight Map Reduce Azure Blobs HDFS
Architecture Azure storage -------------GEODR capable durable storage Compute nodes with local HDFS Head node Secure node
Portail Windows Azure, connexion en RDP Exploration du cluster
IIS LOGS Exécution en PIG et en Hive
Généralités • Utilisations des véhicules traceurs (FCD) - Suivi de véhicule 4. Suivi du véhicule : localisation sur le réseau routier 3. Mediamobile collecte ces données 5. Détermination de la vitesse du véhicule sur le réseau 1. Les automobilistes envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile X km/h Lat2,Long2,D2 Lat1,Long1,D1 2. Nos fournisseurs récoltent les données de géo-localisation
Méthode SqlServer 1 2 3
WorkFlowHDInsight 1 2 3 4
V-TRAFFIC Analyse spatiale
Voies d’optimisation du code Python • Utilisation de R-Tree
Autres utilisations d’HDInsight • Jeux sur Facebook: analyse de logs • Lancement en PHP • ~1 heure par jour • Banque: analyse de tweets
Master Chief meets Big Data • In-game analysis detects cheaters and improves experience for everyone • Enables targeted campaigns that improve customer retention
Two billion minutes a day…and counting • Near real-time visibility into terabytes of data • Able to double processing capacity in minutes
Combien ça coûte ? • http://www.windowsazure.com/pricing
Exemple pour 115 € / mois Source: http://bit.ly/azure4175
Conclusion • HDinsight • Hadoop en tant que service sur Windows Azure • Automatisable • Exécution distribuée de transformation de données (souvent des fichiers texte) • Langages de script de plus haut niveau que Map/Reduce