Plan d’expérience dynamique pour la maximisation

1. Plan d’expérience dynamique pour la maximisation Aspect théorique Mise en œuvre expérimentale • Choix de l’algorithme ? • Choix de la fonction ? • Présence ou absence de bruit ? • Choix du paramètre ?

2. Aspect théorique • f est très coûteuse à évaluer • f est supposée régulière, lisse Optimisation stochastique : Donc :

3. La borne du regret cumulé dépend de la rapidité d’obtention du gain d’information. • Mathématiquement T Etablit une nouvelle connexion entre GP-UCB et ED

4. GP-UCB • Partie théorique: • Description du modèle • Gain d’information et Experimental Design • Algorithme GP-UCB • Partie expérimentale: • Comparaison avec GP- UCB et ED • Influence de plusieurs maxima • Hypothése de régularité • Influence du bruit • Exemple en dimension 2

5. Aspect théorique Calcul de la moyenne, de la covariance et de la variance Où et et

6. Aspect théorique • Objectif : Trouver le maximum de fen l’évaluant le minimum de fois • Ce que l’on sait faire : Pour chaque x, calculer simplement et • Stratégie : Choisir soigneusement (grâce à une borne de confiance) le prochain x à évaluer

7. Aspect théorique x2 x1 x3 Le prochain x que l’on évaluera sera donc

8. Aspect théorique Algorithme • Initialisation : On dispose du GP Prior, selon lequel f est supposée être échantillonnée, et des valeurs aux bords f(0) et f(1). • Itérations : Tant que l’on est trop loin du maximum théorique, on calcule (soit par ED soit par GB-UCB) puis puis et

9. Aspect théorique Mais comment choisir ? cf. Théorème 1 de GaussianProcessOptimization in the Bandit Setting: No Regret and Experimental Design Soit et alors le regret cumulé est en

10. Expérimentations Lequel des 2 algorithmes choisir ? GP-UCB T = 8 T = 44 GP - Upper Confidence Bound (GP-UCB) Experimental Design (ED)

11. Expérimentations Quelle « régularité » pour f ? (avec GP-UCB) T = 8 T = 3 T = 6 T = 12 Fonction trop irrégulière : Ne converge pas !

12. Expérimentations Influence d’un bruit additif gaussien ? T = 18 T = 28 Plus d’évaluations Moins de précision

13. Expérimentations Choix de et influence de cette constante sur le nombre d’itérations T : / n ? Nombre d’évaluations de f en fonction de n

14. CONCLUSION • Intérêt : obtention du maximum • Rapidement • Précisément • Limites : • L’hypothèse fonction « régulière » est indispensable. • On n’a pas une idée « globale » de la fonction.