370 likes | 576 Views
Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse. 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft. Agenda. Data Warehousing Data Warehouse aujourd’hui & Challenges Associés
E N D
Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server FastTrack et Parallel Data Warehouse 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft
Agenda • Data Warehousing • Data Warehouse aujourd’hui & Challenges Associés • Vision Microsoft • Appliance ??? • Solutions Techniques • SQL Server Fast Track Data Warehouse • Qu’estceque SQL Fast Track Data Warehouse • Futur • SQL Server Parallel Data Warehouse • Architecture Matérielle • Architecture Logicielle • Distributed Data Warehouse Architecture • Etapes suivantes
Data Warehouse aujourd’hui & Challenges Associés Explosion des données– De nombreuses bases au-dessus de 10+TB Le double à 3 ans Besoin de réduire les coûts De plus en plus de besoin d’analyse temps réel (real-time analytics) Marché des appliances DW en pleine expansion Déplacement vers le MPP –utilisation massive du MPP in the next 3 years 1 2 3 4 5 1 34% 17% > 10TB 4 92% Appliances 57% 2 78% 5 3 Massive Parallel Processing 82 % Croissance Marché Source – TDWI, “Next Generation Data Warehouse Platforms”
Vision Microsoft Data Warehouse Faire de SQL Server la plus rapide et la plus abordable des bases pour tous les clients quelle que soit la taille de base Evolutivité Massive à prix réduit Choix et flexibilité Solution Data Warehouse Complete Adminsitration Simplifiée du Data Warehouse
Appliance ???Définition & DWH • Définition générale • Dispositif, outil ou système conçu pour un usage particulier • Transposition aux Entrepôts de Données : • Infrastructure matérielle dédiée • Logiciel SGBD dédié / Configuration optimisée • Service dédié (Assemblage/Installation/Maintenance…)
Appliance : Equilibre de conceptionmatériel Pas de goulet d’étranglement A A B B SERVER CPU CORES WINDOWS SQL SERVER CACHE FC SWITCH FC HBA FC HBA STORAGE CONTROLLER CACHE A A B B A B DISK DISK DISK DISK CPU Feed Rate SQL Server Read Ahead Rate HBA Port Rate Switch Port Rate SP Port Rate LUN Read Rate Disk Feed Rate LUN LUN
Appliance ???Avantages • Avantages • Réduction des risques • Usage simplifié • Réduction drastique du « Time to Value » • Système opérationnel en quelques heures • Performances garanties • Pas de dégradation de performances pour les autres utilisateurs du stockage • Meilleur ratio prix/performance
Applianceou commentéviterd’avoir à partir de là Pour aller là To this…
Les écueils potentielsHBA • Où placer les cartes ? 4 X Slots 8X Slots
La bonne configurationHBA • 1 sur 2 avec 2 slot 4x et 2 8x occupés 8X Slots 4 X Slots
Les écueils potentielsCâblage • Server • 4 x Qlogic QLE2562 8 Gbit dual port HBAs • Storage • 6 x AX4-5F DP Array • Fabric • 2 x QlogicSanbox 5802V 8Gb Fibre Switch • 8 x 8Gb SPF (SPF4-SW-JD4) • 6 x 4Pack 4Gb SPF (SPF8-SW-1PK) • Où placer les SFPs? • Comment connecter les SFPs au serveur et au SANs?
La bonne configurationCâblage • Chaque switch à une connection verschaque HBA • Ports 8Gbit attachés au serveur 8GBit 8GBit Connected to Switch 1 Connected to Switch 2
La bonne configurationCâblage FC SWITCH SAN 1 FC HBA A B SERVER A A A A STORAGE PROCESSOR B STORAGE PROCESSOR A STORAGE PROCESSOR B STORAGE PROCESSOR A B B B B FC HBA A B SAN 6 FC HBA A FC SWITCH B FC HBA A B
CâblageLes risques • Problème facile à diagnostiquer • Pas si facile
Applianceou commentéviterd’avoir à partir de là Pour aller là To this…
Offres Appliance Microsoft SQL Server SQL Server FastTrack SQL Server Parallel Data Warehouse • Solutions livrées prêtes à l’emploi ! • Utilisation immédiate • Performance du matériel et de la configuration logicielle garanties
Offres High End High End Services and Support Solutions Microsoft Data Warehousing
SQL Server Fast Track Data Warehouse Solution pour accélérer les déploiements data warehouse • Une méthode de conception de systèmes équilibrés et performance à un ratio prix/performances réduit pour les workloads Data Warehouse • Des configurations de référence hardware développées en collaboration avec des partenaires constructeur et basées sur cette méthode • Des Best practices de répartition, chargement et administration de données
Composants Fast Track Data Warehouse Software: • SQL Server 2008 Enterprise • Windows Server 2008 Configuration guidelines: • Physical table structures • Indexes • Compression • SQL Server settings • Windows Server settings • Loading Hardware: • Tight specifications for servers, storage and networking • ‘Per core’ building block
Fast Track Data Warehouse 2.0 • 12 Architectures de Référence SMP • Templates de Solution Intégrateurs
Configurations de Référence FastTrack 2.0 Configurations 2 Processeurs4 – 12 TB • HP ProLiant DL380 G6 • HP ProLiant DL385 G6 • IBM System x3650 M2 • Dell Power Edge R710 • Bull Novascale R460 E2 Configurations 4 Processeurs12 – 24 TB • HP ProLiant DL 580 G5 • HP ProLiant DL 585 G6 • IBM System x3850 M2 • Dell Power Edge R900 • Bull Novascale R480 E1 Configurations 8 processeurs 16 – 48 TB • HP ProLiant DL 785 G6 • IBM System x3950 M2 Represents storage array fully populated with 300GB15k SAS and use of 2.5:1 compression ratio. This includes the addition of one storage expansion tray per enclosure. 30% of this storage should be reserved for DBA operations
FastTrack 3.0 3,5 comp v2.0 v3.0 • Machines 2 et 4 processeur disponibles (et testables !!!) • Disponibilité 8 processeurs estimée à mi février 2011 2 Proc FT approx 1,8GB/sec approx 3,5GB/sec 12,25 GB/sec 4 Proc FT approx 4GB/sec approx 7GB/sec 24,25 GB/sec 8Proc FT approx 8 GB/sec Testing => ?? GB/sec ??????? Testing ?? GB/sec ?????? MPP N * Débit Nominal d’1 noeud SAN 0,3GB/sec HiglyTuned SAN 1,5GB/sec
Vidéo • FastTrack en action (Centre de performance HP de Boebligen)
Introduction à Parallel Data Warehouse • Offre applianceEnterprise Data Warehouse High End • Haute évolutivité - Dizaine à centaines de terabytes • Haute performance grâce à un système MPP • Flexibilité et choix • Plusieurs Fournisseurs matériel possibles • Possibilité de déploiement au travers d’architecture distribuées • Solution la plus complète • Solution data warehousecomplète couvrant le poste de travail, data warehouse d’enterprise(EDW), et les data marts • Intégration forte avec l’offre de business intelligence Microsoft • Outillage complet: BI, ETL, MDM, et streaming data
Une nouvelle vision du Data Warehouse “High Scale “ High End Enterprise Data Warehouse Flexibilité et choix Solution la plus complète • Architecture “Ultra sharednothing” • Performance et évolutivité grâce à l’exécution en parallèle des opérations • Interopérabilité avec les solutions BI existantes • Plusieurs choix matériels Pas de contrainte fournisseur • Support des data marts, implémentations FastTracks, et hubs MPP • Options de stockage et traitement adaptable à vos besoins • Tire parti des solutions data martset data warehouseexistantes • Configurations pré-testées pour réduire le risque d’implémentation • Solution BI complète
Control Rack Data Rack Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes Control NodesActive / Passive Management Servers Built-inBackup Landing Zone Dual Fiber Channel Dual Infiniband Landing Zone Backup Node Spare Compute Node Private Network
Appliance Parallel Data WarehouseArchitecture matérielle Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes Active/Passive Star Schema Or Normalized Data Client Drivers Management Servers Data Center Monitoring Dual Fiber Channel Dual Infiniband Landing Zone ETL Load Interface Data stored on servers Backup Node Corporate Backup Solution Backup Data Spare Database Server Corporate Network Private Network
Apports PDW– Traitement parallèle massif Compute Nodes Storage Nodes Control Rack Data Rack SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes Active / Passive La requête 1 est soumise à SQL Server sur le Control Node Requête 1 Management Servers La requête est exécutée sur les 10 noeuds Dual Fiber Channel Dual Infiniband Landing Zone Le résultat est envoyé au client ? ? ? ? ? ? ? ? ? ? Backup Node Spare Compute Node Private Network
Apports PDW– Traitement parallèle massif Control Rack Data Rack Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Requêtes multiples exécutéessimultanémentsurtous les noeuds PDW supporte le requêtage pendant le chargement de données. Control Nodes Active / Passive ? ? ? ? ? ? ? Management Servers ? ? ? ? ? Dual Fiber Channel Dual Infiniband ? Landing Zone ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Backup Node ? Spare Compute Node Performance hors normes grâce à la parallélisation massive des requêtes sur des nœuds ultra sharednothing hautement performants. Private Network
Architecture Data Warehouse distribuée Flexibilité et alignementBusiness • Permet le support de groupe utilisateurs ayant des SLA différents: • Performance • Capacité • Chargement • Concurrence • Sécurité La technologie de copie rapide de données permet des mouvements de données rapide et la consistance entre l’ EDW et les Data Marts Création de Data Marts SQL Server 2008, Fast Track Data Warehouse, et SQL Server Analysis Services Une architecture distributée permet la flexibilité d’ajouter ou changer des workloads ou groupes d’utilisateurs variés, tout en maintenant la consistance des données au travers de l’entreprise.
Vidéo • Parallel Data Warehouse en action (Centre de performance HP de Boebligen) HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliancesHP dédiées à la BI et au DataWarehouse (PAR229)
Microsoft Data Warehousing “Denali” • Column Store • Data Quality Services • Enhanced ETL Capabilities • Enterprise ETL Services • Star Join Query Optimizations • Massively scalable DW appliance • MPP with Shared nothing architecture Fast Track Data Warehouse Fast Track Data Warehouse 2011 vNext • Managed Self-Service BI • Application & Multi-Instance Management • Master Data Services • Stream Data Processing • DW Reference Architectures • Predictable performance at low cost • Faster time to solution 3.0 2008 2009 2010 Beyond
MERCI !!! • Pour en savoir plus oualler plus loin • Microsoft Technology Center (Issy) • Microsoft Data Warehousing portal • Pages Web Fast Track et Parallel Data Warehouse • TechNet -SQL Server DW Portal • Sessions techdays • BULL : Jour 1 – 13 :00 – 14 :00 - Optimisation de flux de données sous FastTrack, système BI haute performance : le témoignage de Gérard Scemama, Directeur de Recherche à l’INRETS, avec les experts Bull et Intel. (PAR104) • HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au DataWarehouse (PAR229) OU otolon@microsoft.com