Prise de décision à paramètre continu Une approche symbolique

1. Prise de décision à paramètre continuUne approche symbolique Jeanpierre Laurent Zilberstein Shlomo Charpillet François

2. Cadre de l’étude • L’approche conventionnelle • Un ensemble d’actions discrètes • Planification par énumération • Limitations • Actions réelles souvent continues •  Discrétisation • Peu d’actions « représentatives » • Nombreuses actions similaires

3. La recherche du continu… • Discrétisation de l’espace d’état • Selon l’action optimale ( B. Scherrer) • Selon la fonction de récompense (R. Coulom, A. Moore, R. Munos) • Utilisation d’actions continues / temps continu • R. Munos, A. Moore • K. Doya, R. Coulom •  Apprentissage par renforcement

4. Une nouvelle méthode ? • Apprentissage par renforcement • Dynamique inconnue • Récompense inconnue •  Nombreux essais nécessaires •  Convergence Lente • Cadre d’un problème connu • Connaissance a priori du problème •  Pas d’expérimentation nécéssaire •  Représentation minimale

5. Cadre applicatif • Soit un mobile M ayant • Une position p • Une vitesse v • Des contraintes non linéaires • Vitesse bornée [-1 ; 1] • Position bornée [-1 ; 1] • Une récompense définie par morceaux • -10 si borne enfreinte • +10 si p=0.5

6. Résolution • Équations différentielles non linéaires • Pas de solution • Une infinité de solutions généralisées • Pas de forme analytique • Approximation par éléments finis • Interpoler la fonction de valeur • Entre des points de référence •  Comment les choisir ?

7. Notre approcheUne construction incrémentale • À partir de la représentation active • Calcul de la fonction de valeur • Symboliquement • Identification de points critiques • Comparaison à la représentation active • Recherche de l’erreur maximale • Ajout d’un nouvel élément • Actualiser la représentation • Actualiser la valeur de chaque élément • Itérer jusqu’à convergence

8. Calcul de la fonction de valeur • A partir d’un point donné • Ex. : x=(0.4, v) • Application de la dynamique • F(x, u) = (0.4 + dt*v, v + dt*u) • Application des contraintes • V ≤ 1  u ≤ (1-v) / dt • V ≥ -1  u ≥ (-1-v) / dt • P correcte… •  Liste de successeurs possibles selon u

9. Calcul de la fonction de valeur (2) • Interpolation de V(f(x, u)) • Choix des points de référence • Détermination des coordonnées barycentriques • Calcul de V • Calcul de V(x) • Maximum selon u •  Valeur optimale avec ces hypothèses

10. Mise à jour de la représentation • Deux valeurs V(x) sont disponibles : • Le calcul issu de l’équation de HJB • L’interpolation à partir des références • Comparaison des deux valeurs •  Sélection du point d’erreur maximale •  Nouvel élément à définir • Évaluation de V • Pour chaque référence • Par HJB , dans le nouveau référentiel • Jusqu’à stabilité

11. Poursuite des travaux… • Problèmes mal résolus • Choix des références pour interpoler • Arbre de décision • Sélection des valeurs optimales • Autre piste intéressante • Choix des points critiques selon l’action • Interpoler les actions plutôt que la valeur ? • Comparaison aux méthodes d’A/R • Qualité du résultat ? • Vitesse de convergence ?