Economic Models for Ressource Managament and Scheduling in Grid Computing

1. Economic Models for Ressource Managament and Scheduling in Grid Computing R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE, 2002 Présentation d’article DEA DISIC 2003 Fabrice Theoleyre

2. Plan • Introduction • Les acteurs • Etat de l’art • Les modèles économiques • Etude de cas • DataGrids Project • Nimrod-G • Conclusion

3. Pourquoi un modèle économique? • Un grand nombre de paramètres à prendre en compte • Appartenance de la ressource • Hétérogénéité (puissance…) • Polices locales • … • Centraliser  perte de scalabilité

4. Pourquoi un modèle économique? • Bonne modélisation de l’économie classique • Distribution des décisions en local • Un grand nombre d’acteurs • Organisations virtuelles (contributions variées) • Exploiter la dynamique du marché • Tolérance aux pannes • Disponibilité • Charge • … • Motiver les nouveaux acteurs

5. Les acteurs (1) • Les Grid Service Providers • Proposent des ressources aux clients • Les Ressource Brokers • Consomment les ressources • Les infrastructures • Un même middleware pour communiquer

6. Les acteurs (2) • L’offre et la demande • Antagonisme moteur : • Vendeur maximiser les bénéfices • Acheteur  minimiser le coût

7. Etat de l’art • Type de management de ressources : • Single Domain Computing System (clusters) • Database Management • Storage Management • Web-based distributed Systems • Multi domain distributed Grid Systems • De nombreux essais • Mungi (commodity market, pour stockage, location d’espace de stockage, taxation, salaires, comptes bancaires…) • … • Problèmes : • Un seul modèle d’interactions • Pas de combinaison possible • Implanté de façon monolithique

8. Etat de l’art • Critères de jugement d’un modèle : • Bon pour tous • Pareto efficace • Rationalité individuelle • Stabilité • Distributivité • Efficacité

9. Les modèles économiques • Modèles abstraits indépendants des ressources • CPU • Stockage • Réseau (bande passante) • … • Langage déclaratif pour décrire les besoins

10. Les modèles économiques Commodity market • Les fournisseurs spécifient leur prix et les publient (GMD : grid market directory) • Valeur dépend de : • Puissance • Coût physique • Overhead dû au service • Demande • Valeur perçue par l’utilisateur • Préférences locales du propriétaire

11. Les modèles économiques Commodity market • Facile à mettre en œuvre • Mécanismes simples • Configuration locale des prix et politiques

12. Les modèles économiques Commodity market

13. Les modèles économiques Posted Price System • Similaire au modèle précédent • Envoie en plus des offres spéciales : • Conquérir des parts de marché • Inciter à réserver des slots moins chers • Promotion  conditions (ex: vacances)

14. Les modèles économiques Posted Price System Offres spéciales

15. Les modèles économiques Bargaining Model • Négociation avec le GSP (en fonction des besoins du client) • Durée d’utilisation plus longue • Coût moins élevé • Jusqu’ à acceptation / rupture • GSP : baisse du coût sous peine de sous-utilisation • Définition plus fine du prix • Modèles de négociation à mettre en oeuvre

16. Les modèles économiques Bargaining Model Négociations du prix

17. Les modèles économiques Tender/Contract Net Model • Le modèle le plus utilisé pour la négociation distribuée • Du point de vue du client : • Le broker annonce ses exigences • Les GSP évaluent la demande et y répondent • Le broker évalue et prend la meilleure • Le broker et le GSP communiquent et utilisent la ressource

18. Les modèles économiques Tender/Contract Net Model • Du point de vue du vendeur : • Reçoit les offres • Evalue ses capacités • Répond • Délivre le service • Donne les résultats et la facture • Fournit un comparatif des prix du marché

19. Les modèles économiques Auction Model • Négociations un / multiple • Les GSP annoncent leurs offres • Les brokers proposent un prix • L’étape (2) se répète jusqu’à fin • Le GSP offre le service au gagnant • Utilisation et Facture • De nombreux modèles d’enchères • Double Auction bien adapté (budget, deadline, stratégie…) • Facile à implémenter dans les grilles (distribution sauf pour le médiateur)

20. Les modèles économiques Bid Based Proportional Resource Sharing Model • Approche populaire pour environnements de type clusters 20 $  2/3 des ressources 10 $  1/3 des ressources

21. Les modèles économiques Bid Based Proportional Resource Sharing Model • L’allocation dépend des autres offres • QOS grâce à une offre élevée (proposition importante si les besoins sont impératifs) • Peu de ressources obtenues si nombreux clients • QOS molle (aucune garantie) • Modèle communautaire : • ressources allouées au prorata du financement • sous forme de jetons

22. Etude de cas – DataGrid Project • Problème lorsqu’une tâche demande calculs et données • DataGrids : • Coût important d’accès aux données • Répartition de la bande passante

23. Etude de cas – DataGrid Project • Environnement scientifique  modèle communauté • Capacité de 10To  distribution de 10*109 jetons • Répartition proportionnelle à la contribution • Heure de pointe  + de tokens nécessaires

24. Etude de cas – Nimrod-G • Pour des applications paramétriques (calcul) • Utilise le Globus Toolkit • Middleware (sécurité, accès unique…) • Langage déclaratif paramétrique • Modèle adaptable sur d’autres middleware (Condor…)

25. Grid Market Services Information Server(s) Sign-on Health Monitor Info ? … Grid Node N Grid Explorer … Application Secure Task Farming Engine Schedule Advisor Grid Node1 QoS Pricing Algorithms Trade Server Trading Trade Manager Accounting Resource Reservation Misc. services … Deployment Agent JobExec Resource Allocation Storage Grid User Grid Resource Broker … R1 R2 Rm Grid Middleware Services Grid Service Providers Etude de cas – Nimrod-G

26. Etude de cas – Nimrod-G • Expérience • GRACE : • Deadline + Budget • Commodity market • 2 algorithmes de scheduling : • Optimisation sur le temps • Optimisation sur le coût • Utilisation du WWG Testbed • Dynamique, hétérogène,…

27. Optimisation du temps Optimisation du coût 2h30mn – 199 968 $ 4h20mn - 141 869 $

28. Nb de processus en cours d’exécution Optimisation du temps Optimisation du coût Coût cumulé

29. Conclusion - Apports • Un bon Framework de scheduling économique • Des modèles économiques très variés • Un exemple d’implémentation flexible (Nimrod-G, modulaire) • Bon état de l’art des solutions économiques dans le scheduling, mais pas de développement de chaque modèle (stratégies…)

30. Conclusion - Limites • Etude de cas : pas tous les paramètres • Description très succincte de GRACE • Fixation statique des prix. • Pas de détails sur toutes les fonctionnalités économiques • Pas de présentation des modèles de négociations • Pas encore d’accounting de type G-Bank • Pas de tests de modèles différents • Proposition de modèles mais pas de discussion de l’adéquation aux grilles

31. Conclusion - Limites • Pas de discussion sur le nombre de paramètres économiques à prendre en compte (données, bande passante,…) • Pas de développement de certains points économiques : • stratégies • ROI • prise de risque • … • Un nombre réduit d’acteurs (pas d’intermédiaire grossiste) • Pas d’étude de stabilité du marché pour les grilles

32. Références • Buyya R., Abramson D., and Giddy J. “An Economy Driven Resource Management Architecture for Global Computational Power Grids”. International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA2000). Las Vegas, USA. June. 2000. • Buyya R., Abramson D., and Giddy J.. “Nimrod/G: An Architecture for a Resource Management and Scheduling System in a Global Computational Grid”. HPC ASIA'2000. China. IEEE CS Press. USA. July. 2000. • R. Buyya, J. Giddy, D. Abramson & H. Stockinger. “An Evaluation of Economy-based Resource Trading and Scheduling on Computational Power Grids for Parameter Sweep Applications”. Proceedings of the 2nd International Workshop on Active Middleware Services (AMS 2000). Kluwer Academic Press. Pittsburgh, USA. August. 2000. • Buyya R., Abramson D., Giddy J., and Stockinger H. “Economic Models for Resource Management and Scheduling in Grid Computing”. The Journal of Concurrency and Computation: Practice and Experience (CCPE), Wiley Press, 14/13-15, 2002. • Buyya R., Abramson D., and Giddy J.. “A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Broker”. Future Generation Computer Systems, Elsevier Science. The Netherlands. 2002. • Buyya R., Murshed M., and Abramson D.. “A Deadline and Budget Constrained Cost-Time Optimization Algorithm for Scheduling Task Farming Applications on Global Grids”. The 2002 International Conference on Parallel and Distributed Processing Techniques and Applications. Las Vegas, Nevada, USA. June 2002. • Carman M., Zini F., Serafini L., Stockinger K.. “Towards an Economy-Based Optimisation of File Access and Replication on a Data Grid”. submitted for publication. • Heiser G., Lam F., Russell S. “Resource Management in the Mungi Single-Address-Space Operating System”. In Proc. 21st Australasian Comp. Sci. Conf, Perth, Australia, Feb. 1998. • Vazhkudai S., Von Laszewski G.. “A Greedy Grid - The Grid Economic Engine Directive”. First International Workshop on Internet Computing and E-Commerce (ICEC'01), San Francisco, California, USA, April 27, 2001 • Wolski R., Plank J. S., Brevik J and Bryan T. “Analyzing Market-Based Resource Allocation Strategies for the Computational Grid”. The International Journal of High Performance Computing Applications, Sage Science Press, Volume 15, number 3, Fall, 2001, pages 258-281. • Youn C.. “Resource Management and Scheduling in Grid”, Koren 2002. March. 2002

33. Des Questions ?