Modélisation et Optimisation du Web

1. Modélisation et Optimisation du Web César JALPA VILLANUEVA Directeur: Zhen LIU Projet MISTRAL

2. Plan d ’exposé 1. Motivation 2. WAGON: Web trAffic GeneratOr and beNchmark 3. Expérimentations 4. Analyse Statistique 5. Conclusions et Perspectives

3. 1. Motivation WWW : World Wide Web ou World Wide Wait? Popularité Croissance 16% de nouvelles pages chaque mois 1 nouveau serveur toutes les 2 secondes Saturation de serveurs et réseaux 70% de trafic de l ’Internet WWW : World Wide Wait?

4. Qui, Quoi, Comment? Qui Quoi Comment serveur distribution sous-dimensionnement, mauvaise configuration, etc. réseaux support de sous-dimensionnement transmission protocoles transfert mauvaise conception, mauvais paramétrage, etc. navigateur récupération mauvaise conception, mauvais paramétrage, etc. cache … ...

5. Outils d’Evaluation de Performance et de Dimensionnement pour le Web • Objectifs • évaluation et prédiction de performances • dimensionnement • optimisation des architectures et des paramètres • Approches • modèles analytiques • simulation • benchmarks

6. Benchmarks pour serveurs Web • Un mécanisme pour générer un flux contrôlé de requêtes HTTP avec des métriques pour rapporter les résultats • Scénario de base: clients qui émettent un flux de requêtes et mesurent la réponse du système • processus de génération de trafic • jeu d ’essai (workload) • mesures de performance

7. Benchmarks existants • WebSTONE • SPECweb96 • S-Client • httperf • hbenchWeb • SURGE

8. 2. WAGON: Web trAffic GeneratOr and beNchmark • Nouveau modèle de trafic: plus réaliste, facile à paramétrer. • Approche objets et java • Emulation réseaux et transport • Analyse Statistique • Monitoring • Interface Graphique • extensibilité (HTTP-NG). • Facilité de déploiement: Internet 2 (VTHD) • Probabilité: Solaris, FreeBSD, Linux, Windows

9. WAGON: Historique • V.0 (1997): F. Ah-Yave et V. Marquion • V.1 (1998): en collaboration avec N. Niclausse (thèse) • test, déboguage • ajout de fonctionnalités: fichier de traces, approche objets, monitoring, émulation réseau. • V.2 (2000): avec concours de N. Niclausse • amélioration de l ’architecture • extension du modèle de trafic • multiple classes de clients (profiles) • émulation du réseau • module d’analyse statistique • algorithme EM • tests d ’ajustement

10. Serveur Web Fichier de traces Paramètres du modèle de trafic Module d’analyse rapport Structure du serveur Popularité des documents Probabilité de routage WAGON: Vue globale Expérimentation Synthèse du workload Génération du trafic

11. ic ia WAGON: Générateur de trafic • Modèle de trafic • le processus d'arrivées des sessions • la distribution du nombre de clics • la distribution du temps de réflexion clicA1 clicA2 clicA3 clicA4 Session A Session B

12. ? A1 A2 A3 clicA1 clicA2 clicA3 clicA4 A4 WAGON: Générateur de trafic(suite) • Modèle de navigation • popularité • routage

13. 3. Expérimentation • Comparaison des protocoles (HTTP1.0 et 1.1) • Comparaison de serveurs (Apache, Jigsaw) • Paramétrage de serveurs • Auto-similarité du trafic généré par WAGON • VTHD (Internet 2) • Analyse Statistique

14. DUMMYNET WAGON Conditions de réalisation • Réseau expérimental 7 Pentium II,128Moctets 2PentiumPro, 64Moctets FreeBSD3.2 deux switchs, 100Mbps DUMMYNET

15. Conditions de réalisation (suite) • Serveur Web • Apache, configuration par défaut (MaxClients 150, KeepAliveTimeout 15s) • sous-ensemble du serveur INRIA (www.inria.fr) • Paramètres du modèle de trafic • analyse des fichiers de traces du serveur INRIA • arrivée de sessions: processus de Poisson, 0.002 ≤ λ ≤ 0.008 • nombre de clics: Gaussienne Inverse (μ = 5, λ = 3) (5, 1.28) • temps inter-clics: LogNormal(m = 3, σ = 1.1) (36.8s, 56.40s)

16. Conditions de réalisation (suite) Classes de clients type d’accès délai (msec.) bande passante modem1 250 56 kps modem2 250 33 kps T1, DLS 20 1.5 Mbps WAN 80 150 kps satellite 500 2 Mbps Ethernet 0.1 100 Mbps Protocole • HTTP1.0, 4 connexions • HTTP1.1, 1 connexion, persistance «Clasique», (HTTP1.1-D) • HTTP1.1, 1 connexion, persistance «Early Close», (HTTP1.1-EC)

17. Comparaison des protocoles HTTP1.0 et 1.1 Accès par modem Accès lien T1

18. Comparaison des protocoles HTTP1.0 et 1.1 (suite) • À faible charge: • HTTP1.1-D meilleur que HTTP1.0 et HTTP1.1-EC • HTTP1.1-EC comparable à HTTP1.1-D • À forte charge: • HTTP1.0 meilleur que HTTP1.1-D • HTTP1.1-EC meilleur HTTP1.0 • HTTP1.1-EC significativement meilleur que HTTP1.1-D

19. Performance subjective: Latence HTML Accès par modem Accès par WAN

20. Combien de connexions persistantes? Netscape: 6, IE: 2 Temps de réponse (modem) Latence HTML (modem)

21. 4. Analyse Statistique • Travaux de caracterisation: • moyenne, ecart type • distributions simples: Pareto, Weibull, LogNormal, … • Combinaison de Distributions: corps + queue • Invariances? • Mixage de distributions • Algorithme EM

22. Calculer Trouver pour maximiser Algorithme EM L ’algorithme converge vers un maximum global à partir de presque n’importe quel point de départ

23. Statistiques et Identification de Paramètres • fichiers de traces de trois serveurs WWW et un Proxy (Clarknet, Inria, Boeing, Worldcup98) • Variables analysées • tailles des fichiers (réponses) • nombre de clics par session • temps inter-clic • temps d ’inter-arrivée des sessions

24. Analyse des variables Taille des fichiers

25. Analyse des variables…(suite) • Traces Clarknet [Arlitt and Williamson, 1996a]

26. Analyse des variables… (suite) Nombre de clics

27. Analyse des variables… (suite) Temps inter-clic

28. Analyse des variables ... (suite) inter-arrivée de sessions

29. Conclusions Développement d ’un outil de génération de trafic Expérimentations Nouvelle approche pour la caractérisation du Web Découverte d ’invariances 5. Conclusions et Perspectives

30. Perspectives Evolution de WAGON: mélanges de distributions pour la génération de trafic HTTPn.m Autres protocoles que HTTP Autres applications benchmark pour serveurs proxy-cache Caractérisation raffinement de la méthodologie autres variables autres fichiers de traces 5. Conclusions et Perspectives