1 / 48

Metacomputing Si tous les ordinateurs du monde...

Metacomputing Si tous les ordinateurs du monde. Luc Bougé LIP, ENS Lyon Projet ReMaP Crédits: Frédéric Desprez Pierre Lescanne. Les origines. Des millions de PC inoccupés... Nuits + week-end = 60+% Des millions de disques pratiquement vides... 1-10 Go

hisa
Download Presentation

Metacomputing Si tous les ordinateurs du monde...

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. MetacomputingSi tous les ordinateurs du monde... Luc Bougé LIP, ENS Lyon Projet ReMaP Crédits: Frédéric Desprez Pierre Lescanne Luc Bougé

  2. Les origines... • Des millions de PC inoccupés... • Nuits + week-end = 60+% • Des millions de disques pratiquement vides... • 1-10 Go • Des millions de connexions Internet en attente d’entrée clavier... • 2 Mo/s Luc Bougé

  3. Méta-ordinateur! Luc Bougé

  4. The Grid • Ian Foster • Carl Kesselman • Andrew Chien • Jack Dongarra • Tom DeFanti • Andrew Grimshaw • Roch Guerin • Ken Kennedy • Paul Messina • Cliff Neuman • Jon Postel • Larry Smarr • Rick Stevens “A source book for the history of the future” -- Vint Cerf Luc Bougé

  5. Computational Grids • Buts • Connecter différentes machines pour exécuter des applications à très grande échelle • Transparence d’utilisation • Meilleures performances possibles • Administration simple • Architecture adaptative • Nombreux projets de recherche et outils • Sujet en plein développement ! Luc Bougé

  6. Plateformes de metacomputing • Bas niveau • Calcul sur des grappes • réseaux hétérogènes de stations ou de PC • Typique des plateformes universitaires ou des petites entreprises • Utiliser tous les moyens de calcul: Poor man’s parallel computer • Niveau moyen • Connexion de serveurs parallèles de taille moyenne • Exécution de bases de données ou d’applications spécifiques • Meta-system avec liens rapides dédiés • Haut niveau • Computational grid qui connecte des supercalculateurs les plus puissants des centres de calculs pour des applications à très grande échelle Luc Bougé

  7. Luc Bougé

  8. Les défis logiciels • Administration • Sécurité, équité, disponibilité, équilibrage des charges • Hétérogénéité • Réseaux, processeurs, hiérarchie mémoire • Equilibrage des charges • Distribution des données • Informations sur la charge en temps réel • Evaluation des performances • Modélisation des architectures • Couplage de codes Luc Bougé

  9. Quels outils de programmation? • Extensions de MPI • MPI_Connect, Nexus, PACX-MPI, PLUS, etc. • Globus • Approche par niveaux • Services pour la sécurité, l’évaluation de performances, les communications, la configuration de la machine, etc. • Approches orientées objets • Encapsuler les détails techniques • Legion, Albatross, CORBA • Approche client-serveur • Serveurs de bibliothèques de calculs et agents • Netsolve Luc Bougé

  10. Serveurs Client Internet Les approches communautaires • Poor community’s computer • Approche client-serveur • Embarrassingly parallel • Premières expériences • 1985? Factorisation par E-mail Luc Bougé

  11. Étude de cas 1:distributed.net • Projet alternatif communautaire • Fondé en 1997, adhésion libre, gestion par forum • Puissance: 160.000 Eq-Pentium II 266 MHz, plusieurs milliers de clients • Approche bovine force • Récupération des cycles inutilisés • Applications: cryptographie http://www.distributed.net/ Luc Bougé

  12. Optimal Golomb Rulers! • On Thursday, July 13, 2000 at 21:43 UTC distributed.net has officially restarted work on the search for the Optimal 24-mark Golomb Ruler, and on August 1, 2000 distribution of OGR-25 has begun. Our current overall network rate is 74.82 Giga-nodes per second! Be sure to download and install the latest clients if you do not have them already. Visit the Optimal Golomb Rulers project page for more details about this exciting project! • 0 1 . . 4 . . . . 9 . 11 5, Optimal • 2-22-32-21-5-1-12-34-15-35-7-9-60-10-20-8-3-14-19-4 21, Optimal? • NP-complet, visite exhaustive? Luc Bougé

  13. Project RC5Rivest’s Cipher, MIT, 1994 • The "Bovine" RC5 effort was formed to take the responsibilities of coordinating and maintaining the RC5 servers that are needed to distribute key blocks to work on to all of the participating client programs. We depend heavily - entirely - on the participation of people like yourself, as we intend to solve this project via the use of brute force, trying every possible key there is. • We know this method works. On 19 October 1997 at 1325 UTC, we found the correct solution for the previous project - RSA Labs' 56-bit secret-key challenge. (That's RC5-32/12/7 56-bit for you stats junkies.) The key was 0x532B744CC20999, and it took us 250 days to locate. • Our current overall RC5 network rate is 105.11 gigakeys per second. You can find out more information about our network speed at our RC5-64 statistics page. Luc Bougé

  14. Project CSCEncryption challenge, CS Communications and Systems • The CSC Project is over. On 16 January 2000, shortly before 0630 GMT, we received the winning key (00438EF36FE3FC21 for you tech junkies) from a Sparc in the United States. The secret message was: CS-Cipher a ete presente en mars 97 a 'Fast Software Encryption' (Paris). Congratulations to the winner! • The Winner is Paul Ilardi, a graduate student at the University of Rochester. Congratulations to Paul! • The CS-Cipher Challenge is organized by CS Communications & Systems and will last until March 17, 2000. It is meant to demonstrate how weak a 56-bit key is against brute force attacks. A 10,000 Euros prize is at stake, so download a client and start cracking those CS keys! • The CS-Cipher Algorithm is a symmetric block cipher, meaning that the same key is used to encrypt and decrypt the message. The algorithm supports variable key lengths ranging from 0 to 128 bits and handles message encryption and decryption in fixed-size 64 bit blocks. Luc Bougé

  15. Possible projects • Distributed Chess Engine Volunteers wanted! • Mersenne Primes • Large prime numbers. The current GIMPS effort seems to be doing quite well on it's own, a pleasant change from the early days when it was handled entirely via e-mail. There is also no "last" prime number, so this can serve as the default project in the future. • Fermat NumbersFactor fermat numbers • Elliptic Curve Cryptosystem (ECC)Another cryptography challenge Luc Bougé

  16. Étude de cas 2:Projets INRIA • Arithmétique • Calcul numérique fiable • Méthodes numériques • Calcul formel, cryptographie • Polynômes • Calcul, identification, localisation et codage des zéros, factorisation, résolution de systèmes • Structures combinatoires • Analyse de séquences, combinatoire du mot, recherche combinatoire, génération aléatoire, représentation graphique • Organisme public • Mathématiques pures + analyse numérique + informatique • Cadre légal, collaborations institutionnelles Luc Bougé

  17. Références • Projet PolKA • Polynômes, combinatoire, arithmétique • LORIA, Nancy • Projet Cristal • Programmation typée, modularité et compilation • Rocquencourt, Versailles • Projet Arénaire • Arithmétique des ordinateurs, calcul formel • LIP, ENS Lyon http://www.inria.fr/ Luc Bougé

  18. Des chercheurs de l'INRIA contribuent à relever des défis cryptographiques! • Défi RSA-155, août 1999 • Décomposition en facteurs premiers • Paul Zimmerman, PolKA + Robert Harley, Cristal • 300 machines, 5 pays • 30-40 années-PC Luc Bougé

  19. Serveurs Client Internet Maths pures + Analyse numérique + Probabilité + Évaluation des performances Luc Bougé

  20. Biggest Public-key Cryptography Crack Ever!Worldwide Calculation Solves 109-bit Elliptic Curve Challenge • PARIS -- 13th April 2000 -- Irish mathematician Robert Harley and three colleagues at INRIA, the French National Institute for Research in Computer Science and Control, announced the solution to the most difficult public key cryptographic challenge ever solved after a huge calculation on close to 10000 computers throughout the Internet. The challenge, called ECC2K-108, was set by Canadian cryptographic company Certicom in 1997 to encourage researchers to test the security of cryptography based on elliptic curves. US $10000 prize money. • Four months of computation distributed on 9500 computers with the help of 1300 volunteers in 40 countries. Two thirds of the computation were done on Unix workstations and one third on Windows PCs. On a single 450 MHz machine the computation would have taken 500 years. • ECC (elliptic-curve cryptography) can offer with much shorter keys than RSA Luc Bougé

  21. Elliptic Curve Discrete Logarithms Project • Current ECDL • ECC2K-108, solved on April 4th 2000. • Previous one • ECC2-97, solved on September 22nd 1999. • History ECCp-79, solved on December 6th 1997. ECC2-79, solved on December 16th 1997. ECCp-89, solved on January 12th 1998. ECC2-89, solved on February 7th 1998. ECCp-97, solved on March 16th 1998 in association with British Telecom Labs. ECC2K-95, solved on May 21st 1998. Luc Bougé

  22. Étude de cas 3:Seti@home • SETI@home est une expérience scientifique en radio-astronomie exploitant la puissance inutilisée de millions d'ordinateurs connectés via Internet dans un projet de Recherche d'une Intelligence Extra-Terrestre (Search for Extra-Terrestrial Intelligence, alias SETI). • Participez vous aussi en installant sur votre ordinateur un programme gratuit qui chargera et analysera les données collectées du plus grand radio-télescope au monde à Arecibo. • Il y a un faible mais captivant espoir qu'un jour votre ordinateur détecte le lointain murmure d'une civilisation hors de notre planète Terre. Déjà 2,4 millions de participants de 226 pays et territoires, serez-vous de ceux-là ? Luc Bougé

  23. What have we found? • As of yet, SETI@home has not detected any radio signals that indicate the presence of extraterrestrial intelligence. Thorough scientific analysis of the results returned by the SETI@home screensaver programs is continuing. • So far, SETI@home has received 200465266 results from all the SETI@home screensavers running around the world. This means that on the average SETI@home has received 84.77 results from each user. Luc Bougé

  24. Current Total Statistics TotalLast 24 Hours Users 2364694 2313 Results received 200427255 652653 Total CPU time 417470.43 years 1075.72 years Floating Point Operations 4.008545e+20 1.305306e+18 (15.1 TeraFLOPs/sec) Average CPU time per work unit 18 hr 14 min 46.4 sec 14 hr 26 min 18.6 sec Luc Bougé

  25. Statistiques Luc Bougé

  26. NEW! Using your head to help find intelligent life?Get the SETI@home cap. The other side of science… http://www.setiathome.com/ Luc Bougé

  27. Les approches institutionnelles Luc Bougé

  28. Étude de cas 4: Globus • Issu de recherches de base autour du Network Computing • Gestion de ressources, QoS, gestion de réseaux, sécurité, stockage, adaptation, etc. • Développement du Globus toolkit • Services de base pour les outils et applications pour la grille • Construction d’une plateforme de test: GUSTO • Plus grande plateforme en termes de machines et d’applications Application experiments • Télé-immersion, calcul distribué, etc. http://www.globus.org/ Luc Bougé

  29. Plate-forme GUSTO, SC ‘98 • Globus Ubiquitous Supercomputing Testbed Organization (GUSTO) • 02/00: 125 sites in 23 countries • One of the largest computational environments ever constructed. Luc Bougé

  30. Plateforme GUSTO durant SC’97 Luc Bougé

  31. NASA Information Power Grid • Supercomputers • Storage devices • Sensors • Data vizualization • Globus-based Luc Bougé

  32. National Partnership for Advanced Computational Infrastructure(NPACI) National Computational Science Alliance (NCSA) The goal of NSF's PACI program is to build, operate, and encourage the use of a prototypical computational grid that will support distributed scientific and engineering applications and form the basis of a national computational infrastructure in the same way that the NSFnet formed the basis of today's Internet. http://www.npaci.edu/ Luc Bougé

  33. NPACI News, Sep. 24, 2000 • Joint center for structural genomics funded to advance high-troughput protein structure determination • $24 million grant over a five-year period, 3-D structure of up to 2,000 proteins • "Today biology is a data-driven science and bioinformatics is the sine qua non of modern biology. Data emerging from this project will provide us comprehensive knowledge in atomic detail of the molecular machines that drive cellular processes." Luc Bougé

  34. Applications High-level Services and Tools GlobusView Testbed Status DUROC MPI MPI-IO CC++ Nimrod/G globusrun Core Services Nexus GRAM Metacomputing Directory Service Globus Security Interface Heartbeat Monitor Gloperf GASS Local Services Condor MPI TCP UDP LSF Easy NQE AIX Irix Solaris Architecture Globus Luc Bougé

  35. Services Globus • Infrastructure de communication (Nexus, IO) • Services d’information (MDS) • Monitoring de performances réseau (Gloperf) • Monitoring de processus (HBM) • Gestion de fichiers et exécutables distants (GASS et GEM) • Gestion de ressources (GRAM) • Sécurité (GSI) Luc Bougé

  36. Ethernet Switch Metacomputing directory service MDS Representation c=US o=globus IBM SP sunny WAN LAN o=USC o=ANL nn=WAN hot LAN dark cold … … ou=ISI ou=MCS nn=MCS-lan Steve Ian Steve Carl Gregor Warren cn=Carl nn=SP-switch … ANL/MCS USC/ISI nn=SP-ether cn=Steve cn=Ian cn=Gregor Structure physique cn=Steve hn=sp1.mcs.anl.gov cn=Warren … hn=spN.mcs.anl.gov Luc Bougé

  37. mpirun globusrun DUROC GRAM GRAM GRAM fork LSF LoadLeveler P2 P2 P2 P1 P1 P1 Nexus Composants Globus en Action Luc Bougé

  38. “10 GFlops, EOS data, 20 Mb/sec -- for 20 mins” GRAM GRAM GRAM Using information for resources brokering Info service: location + selection Metacomputing Directory Service Resource Broker “What computers?” “What speed?” “When available?” “20 Mb/sec” GRAM Globus Resource Allocation Managers “50 processors + storage from 10:20 to 10:40 pm” Fork LSF EASYLL Condor etc. Luc Bougé

  39. Luc Bougé

  40. Étude de cas 5: Netsolve • Approche client-serveur • Programme de calcul disponible sur le serveur • Choix d’un serveur par l’agent • Données utilisateur envoyées au serveur • Résultats renvoyés à l ’application • Interface Java, C, F77, Matlab, etc. http://www.cs.utk.edu/netsolve/ Luc Bougé

  41. Serveurs de calcul demande Réponse Client Choix Agent Netsolve en action Luc Bougé

  42. 1. Le client envoie une requête à l’agent Serveurs decalcul 2. L’agent renvoie une liste triée de serveurs de calcul 3. Le client essaie les serveurs et renvoie les erreurs 4. Le client envoie les données 5. Le serveur de calcul renvoie le résultat 3 4 2 Client 5 Agent 1 Netsolve en action Luc Bougé

  43. Pool de serveurs Bibliothèque de logiciels Bibliothèque de logiciels ClientJava Client Matlab Serveurs avec Supercalculateurs Netsolve all over the world! Luc Bougé

  44. CONCLUSIONS ET PERSPECTIVES Luc Bougé

  45. Bilan • Des machines parallèles performantes et utilisables • Pas une solution mais des solutions • Good gnus • On peut mélanger les environnements: hétérogéneité • Bad gnus • Codage spécifique nécessaire pour des performances optimales • On peut porter des applications efficacement • Le calcul parallèle pour tous = Metacomputing? Luc Bougé

  46. Metacomputing • Une technologie d’avenir • Il faut plus de travaux en Europe • Problèmes algorithmiques • Sous-estimés ! • Equilibrage des charges, distribution, sécurité, etc. • Interface de programmation • Orienté objet, passage de message, bibliothèques, … ?? • Applications !!!! • Définir les « bonnes applications » • Regarder hors de la communauté du numérique Luc Bougé

  47. Qu’est ce que j’ai « oublié » de présenter? • Programmation orientée objet (Java) • CORBA • Ordonnanceurs de tâches • Exécutifs haute performance • Parallélisation totalement automatique • débogage • monitoring et profiling • évaluation de performances • ... Luc Bougé

  48. Et maintenant? We need you! Luc Bougé

More Related