1 / 31

Clusters

Mécanismes Fault Tolerant - Exécution parallele et répartie. Clusters. These de Denis Conan: Tolérance aux fautes par recouvrement arrière Documents du LAAS R J Chevance: Système HP : définitions et solutions Mémoire de recherche de Anne-Marie Kermarrec: Mémoire répartie recouvrable.

azia
Download Presentation

Clusters

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Mécanismes Fault Tolerant - Exécution parallele et répartie Clusters

  2. These de Denis Conan: Tolérance aux fautes par recouvrement arrière Documents du LAAS R J Chevance: Système HP : définitions et solutions Mémoire de recherche de Anne-Marie Kermarrec: Mémoire répartie recouvrable Sources • Linux France Magazine n° 1,12,15,17,18,20,23,24,32,35 • Doc TANDEM : Hard & Soft Functionnal Description • www.stratus.com • Linux Parallel Processing HOWTO • Linux SMP HOWTO • Beowulf HOWTO

  3. On ne verra pas : • L'environnement Main-Frame • Le fonctionnement des Clusters Windows • Les clusters de stockage

  4. Sommaire • Pourquoi j'ai choisit ce sujet ? • Les différents types de cluster • Les méchanismes Fault Tolérant • Comment exécuter du code en paralelle ? • Comment répartir l'exécution ? • Packages sous linux

  5. Pouquoi ? • Découverte lors des séquences industrielles: • Supervision temps reels du trafic téléphonique • Supervision temps réels du réseaux de diffusion hertzien • Le 4ieme plus gros cluster au monde est en FRANCE http:// www.top500.org

  6. Supermarché et exécution parallele

  7. Supermarché et exécution parallele (1) • Une seule caisse et un seul client

  8. Supermarché et exécution parallele (2) • Une caisse mais plusieurs clients • On répartie le temps entre tous les clients

  9. Supermarché et exécution parallele (3) • On ouvre d'autres caisses • Plusieurs caissières avec plusieurs clients

  10. Supermarché et exécution parallele (4) • Plusieurs caissières et un seul client.

  11. Supermarché et exécution parallele (5) • Plusieurs ilots de caisses et une caisse centrale

  12. Rappels • Fault Tolérant: • Haute Disponibilité: • Haute Performance:

  13. Le Fault Tolerant • IBM,Sun Netcraft,Stratus, Tandem (maintenant HP-Compaq) • Architecture spécialisée • Matériel extrèmement couteux Methode: Pair & Spare

  14. Le « pair and Spare » (stratus) Pair :Le processus est exécuté en paralelle par plusieurs processeurs au sein d'un meme bloc Spare: Doublement des organes actifs(un primaire et un secondaire). Les deux blocs exécutent le meme processus. En cas de défaillance du maitre, on bascule sur le secondaire Changement des organes à chaud : CPU, Mémoire, Disques

  15. Tandem: le HP/Compaq S5000 • Processeurs MIPS RISC R10000 et R12000 • Networking • Data link protocol ATM; FDDI; Ethernet; X.25; SS7 • Compliant standards IEEE POSIX 1003.1; ANSI X.3 159-1989 C • Niveau de sécurité C2 • Non-Stop UNIX (System V based)

  16. Architecture • CPU MIPS de Sillicon Graphic cadensés à 200 ou 300 Mhz • 2 blocs de 2 CPU • 2 Go de RAM/ bloc • 4 Mo de cache par CPU • Bus Mémoire: 400 MB/s par CPU • Bus IO : 150 MB/s par CPU Consomation : 3500 Watts

  17. Approche IBM

  18. La Haute Disponibilité • Les Offres commerciales • HP : MC - Service Guard • IBM : HACMP (High Availability Cluster Multi-Processing) • Sun Cluster

  19. La Haute Disponibilité (2)

  20. La Haute Performance • Comment exécuter un programme sur plusieurs CPU ? Concurrence et parallelisme • En local: • Threads • Messages • NUMA No Uniform Memory Access • NORMA No Remote Memory Access

  21. Symetrical Multi-Processor • Plusieurs CPU • Dialogue inter-processus via la mémoire : ( idem IPC) Problèmes : Gestion des accès à la mémoire Dimentionnement du bus mémoire

  22. Le NORMA • Interconnection de « machines simple » • Chaque CPU accède à sa propre mémoire • Communication par messages

  23. Le passage de messages • Attention à la taille des messages ? • Que transfert t'on et avec quelles politiques? • PVM et MPI

  24. NUMA • Gestion de la mémoire global:MVP Chaque programme voit la mémoire comme une ressource local • Localisation de l'accès • Cohérence de la mémoire entre noeuds: migration & réplication

  25. Monter son cluster

  26. Les différentes offres • Beawulf • Mosix • Alinka • Kimberlite • Linux Virtual Server • Linux HA

  27. Conclusions • Bien analyser le besoin et les impacts sur l'architecture • La mémoire est toujours trop lente dans les PC ! • Les procésseurs vectoriels ne sont pas morts

More Related