1 / 18

Olfa HAMDI-LARBI

Détection du meilleur format de compression pour une matrice creuse dans un environnement parallèle hétérogène. Olfa HAMDI-LARBI. Objectif.

javen
Download Presentation

Olfa HAMDI-LARBI

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Détection du meilleur format de compression pour une matrice creuse dans un environnement parallèle hétérogène Olfa HAMDI-LARBI

  2. Objectif • Améliorer les performances de l’exécution en parallèle des méthodes itératives de résolution de systèmes linéaires et/ou de calcul de valeurs propres où la matrice est creuse et l’environnement parallèle est hétérogène

  3. Quelques définitions • Matrice creuse Matrice de très grande taille contenant beaucoup d’éléments nuls et peu d’éléments non nuls Applications : mécanique des fluides, traitement d’image satellite, télé médecine, …

  4. Quelques définitions • Compression de la matrice : gain en espace mémoire + en temps de traitement • Plusieurs formats de compression pour matrice creuse : CSR, COO, BND, …

  5. 1. 21. 16. 9. 2. 15. 7. 23. 3. 27. 8. 4. 22. 12. 13. 10. 5. 25. 14. 11. 6. Quelques définitions Exemple : Format COO A IA JA Rmq : A une matrice donnée on peut associer un ensemble de formats de compression

  6. Environnement parallèle hétérogène • Réseau de machines ayant des caractéristiques matérielles et logicielles différentes et reliées par des liens hétérogènes.

  7. Méthode itérative de résolution de système linéaire • Déf : A * x = b • Exple : Méthode de Jacobi, Gauss-Jordan, Gradient Conjugué, … des itérations de Produit Matrice-Vecteur

  8. Problématique Étude des performances du PMVC dans un milieu hétérogène L’exécution en « séquentiel » du PMVC sur chaque bloc La distribution de la matrice en blocs Cas séquentiel Cas parallèle

  9. Étude du PMVC : Cas séquentiel Performances d’un Algorithme Séquentiel Creux Machine(caractéristiques matérielles & logicielles) Matrice(densité, structure,…) Format de compression  Détecter le meilleur format de compression pour une matrice creuse et une machine données

  10. Étude du PMVC : Cas séquentiel • Tester le PMVC pour : • Un ensemble de formats : CSR, COO, DNS, BND • Une structure particulière de matrice : Bande • Un ensemble de machines : PC Intel, un processeur d’une machine SP2, une station HP9000, …

  11. Étude du PMVC : Cas séquentiel • Générer aléatoirement des matrices creuses bande • Stocker une matrice donnée dans chacun des formats de compression (COO, CSR, …) • différentes versions du PMVC • Exécuter le PMVC pour chaque format • Comparer les performances pour les différents formats  déterminer le format qui a donné les meilleures performances

  12. Étude du PMVC : Cas séquentiel Optimisation du PMVC séquentiel pour chaque format de compression Optimisations manuelles (par le programmeur) Optimisations automatiques (par le compilateur) Options de compilation : funroll, O1, O2, …, Remplacement scalaire, Sortir les invariants d’une boucle, Technique de unrolling, …

  13. Optimisation du PMVC CSR • Sur le PC et le mainframe HP9000 : • Toutes les options du compilateur fournissent les mêmes performances • Les optimisations du compilateur donnent des performances meilleures que celles données par les optimisations manuelles • Sur un processeur de la machine SP2 : • Pour certaines matrices (ayant un nombre de NNZ inférieur à un certain seuil), il faut combiner les optimisations manuelles et automatiques pour avoir les meilleurs performances  Poursuivre les tests pour les formats COO, BND et DNS

  14. Étude du PMVC : Cas parallèle • Étude des performances du calcul du polynôme de degré 2 : A(A*x+x)+x pour différents formats de compression dans un système pair-à-pair • Réseau dans lequel toutes les stations de travail possèdent des capacités ainsi que des responsabilités équivalentes

  15. Fragmentation des données Envoi des fragments compressés de A vers les pairs Diffusion du vecteur aux pairs Calcul en parallèle du produit fragment-vecteur Communication des fragments de Y + réduction du vecteur Y à partir de ses fragments Étude du PMVC : Cas parallèle

  16. Fragmentation des données Approches différentes Fragments contenant le même nbre de NNZ (FMNENN) Fragments contenant le même nbre de lignes (FMNL) lignes contiguës lignes non contiguës

  17. Fragmentation des données FMNL • Approche facile • peut engendrer un déséquilibre des charges prohibitif pour les pairs FMNENN • Problème d’affectation de N tâches indépendantes de coûts c1, c2, …, cN à p processeurs homogènes, avec une contrainte sur la charge maximale par processeur Expérimentations sur le système ExtremWeb

  18. Conclusion et Perspectives • Cas séquentiel • Optimisation du PMVC pour les formats CSR, COO, DNS et BND • Comparaison des formats du PMVC pour chaque format • Cas parallèle • Étude de la parallélisation du PMVC pour chaque format de compression • Pour un format donné, proposer plusieurs version parallèles à comparer • Déterminer le format qui donne la meilleure version parallèle du PMVC

More Related