Sélection automatique d’index et de vues matérialisées dans les entrepôts de données

1. Sélection automatique d’index et de vues matérialisées dans les entrepôts de données EDA 2006 - Versailles NoraMAIZ, Kamel AOUICHE et Jérôme DARMONT Laboratoire ERIC 5 avenue pierre Mendès-France 69676 Bron Courriel : nmaiz@eric.univ-lyon2.fr

2. Plan • Contexte et motivation • État de l’art • Sélection simultanée d’index et de vues matérialisées • Expérimentation • Conclusion et perspectives

3. Contexte et motivation • Optimiser les performances • Automatisation des tâches d’administration • Auto-administration des entrepôts de données

4. Temps Charge de requêtes Gain Temps de réponse Maximiser Sélection d’index Configuration d’index Temps de réponse Configuration d’index Contrainte d’espace de stockage Problème de sélection d’index

5. Temps Charge de requêtes Gain Temps de réponse Maximiser Sélection de vues matérialisées Configuration de vues Temps de réponse Configuration de vues Contrainte d’espace de stockage ou de maintenance Problème de sélection de vues matérialisées

6. Vues candidates Index candidats Index candidats Vues candidates Sélection simultanée Sélection de vues matérialisées Sélection d’index Configuration de vues et d’index Configuration de vues et d’index Configuration de vues et d’index Configuration de vues et d’index • Contrainte d’espace de stockage • Partage statique de l’espace de stockage • Sélection isolée d’index et de vues • Contrainte d’espace de stockage • Prise en compte des interactions index-vues • Gestion efficace de l’espace de stockage Problème de sélection simultanée d’index et de vues matérialisées

7. État de l’art • Bellatreche et al. (2000) • Agrawal et al. (2000) • Rizzi et Saltarelli (2003)

8. État de l’art • Bellatreche et al. (2000) • Redistribution de l’espace de stockage • Compétition entre deux espions d’index et de vues • Politique de remplacement

9. État de l’art • Agrawal et al. (2000) • Trois alternatives : • MVFIRST • INDFIRST • Joint enumeration

10. État de l’art • Rizzi et Saltarelli (2003) • Détermination a priori d’un compromis entre l’espace de stockage alloué aux index et aux vues • Niveau d’agrégation de la requête • Liste des attributs de la clause Group by • Sélectivité des attributs présents dans les clauses having et where

11. Métadonnées, schéma, statistiques 1 charge 1. Extraction des requêtes résolues par le système Entrepôt de données … Sélection simultanée d’index et de vues matérialisées

12. Métadonnées, schéma, statistiques 2.Construction de l’ensemble des vues matérialisées candidates 1 charge 2 Entrepôt de données Configuration de vues Matrice requêtes-vues candidates QV Sélection simultanée d’index et de vues matérialisées

13. Métadonnées, schéma, statistiques 1 charge 2 Entrepôt de données Configuration de vues 3 3. Construction de l’ensemble d’index candidats Configuration d’index Matrice requêtes-index candidats QI Sélection simultanée d’index et de vues matérialisées

14. Métadonnées, schéma, statistiques 1 charge 2 Entrepôt de données 3. Construction de l’ensemble d’index candidats Configuration de vues 3 3 Configuration d’index Configuration d’index Matrice vues-index VI Sélection simultanée d’index et de vues matérialisées

15. 4. Sélection simultanée d’index et de vues matérialisées Métadonnées, schéma, statistiques 1 charge Algorithme glouton  bénéfice de matérialisation et d’indexation 2 Entrepôt de données Configuration de vues 3 Configuration d’index Configuration d’index 4 Modèles de coût Configuration d’index et de vues Sélection simultanée d’index et de vues matérialisées

16. Métadonnées, schéma, statistiques 5.Construction de la configuration finale d’index et de vues matérialisées 1 charge 2 Entrepôt de données Algorithme glouton  bénéfice de matérialisation et d’indexation Configuration de vues 3 Configuration d’index Configuration d’index 4 Modèles de coût 5 Configuration d’index et de vues Sélection simultanée d’index et de vues matérialisées

17. Calcul de bénéfice d’indexation L’ajout d’un index donné à la configuration Config peut améliorer le coût des requêtes de la charge : • de façon directe • de façon indirecte à travers les vues auxquelles cet index est associé

18. Calcul du bénéfice de matérialisation L’ajout d’une vue à la configuration Config peut améliorer le coût des requêtes de la charge : • De façon directe • De façon collaborative avec les index associés à cette vue

19. … Charge i0 i1 V1 V2 Vm in-1 in Configuration d’index et de vues i2 i1 Fonction objectif Coût de la charge V1 Configuration finale d’index et de vues matérialisées V2 i0 V1 … ij i1 i2 k 1 2 3 Contrainte d’espace de stockage itérations Algorithme de sélection simultanée d’index et de vues matérialisées i2 i1

20. Expérimentation • Conditions • Entrepôt de données test au sein du SGBD Oracle 9i • PC : Windows XP Pro, processeur Pentium 4 à 2.4 GHz, RAM 512 Mo, Disque dur IDE de 120 Go • La charge de requêtes est composée de 64 requêtes • Stratégie • Mesures observées : le temps d’exécution de la charge : • sans vues matérialisées ni index • avec index • avec vues matérialisées • avec vues matérialisées et index

21. Résultats expérimentaux

22. Conclusion Une stratégie d’optimisation des performances des entrepôts de données : Sélection simultanée d’index et de vues matérialisées • Prend en compte l’interaction vue-index • Traite la sélection de vues et d’index simultanément • Notre solution : • Générique • Modulaire • Validée par des expérimentations

23. Perspectives • Poursuivre les expérimentations et les comparer avec les approches existantes • Rendre la sélection de vues et d’index dynamique : • Appliquer les travaux de YAO et al. (2005) pour la détection des sessions basée sur le calcul d’entropie • Rendre la méthode orientée utilisateur (profil): • Groupe d’utilisateurs • Intégrer ou coupler avec d’autres mécanismes d’optimisation de performance comme la gestion de cache, le regroupement et le partitionnement. • Agrawal et al.(2004), Zilio et al.(2004), Bellatreche et al.(2005)

24. Merci de votre attention Questions?