Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels

1. Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels Laurent JEANPIERRE Equipe MAIA Directeur de thèse : François Charpillet

2. Système dynamique Perturbations Système Réel Actions Observations Modèle informatique

3. Introduction • Contributions • Modèle compréhensible par des utilisateurs • Apprentissage de modèle • Bibliothèque logicielle • Cadre applicatif • DIATELIC (ALTIR) • Assistance à l’anesthésie (CHU Brabois) • Navigation d’un robot mobile

4. Plan de la présentation • Introduction à DIATELIC • Modélisation • Processus statistiques • Perceptions floues • Modèle global • Apprentissage et adaptation • Conclusion et perspectives

5. Le projet DIATELICIntroduction • 1995 – 2002 • Suivi de patients • Traités en DPCA • Dialysés à domicile • Quotidiennement • Étude de l’hydratation • Joue un rôle central dans la dialyse • Non mesurable directement Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

6. Diagnostic Données Traitement Le projet DIATELICPrésentation schématique Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

7. Traitement Diagnostic Le projet DIATELICPrésentation schématique Données Alertes Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

8. DIATELICUn projet d’envergure • Une infrastructure conséquente • Un transport de données par réseau • Un serveur hébergeant le service • Une base de données • Des interfaces homme-machine • Un appui médical • Un module de diagnostic Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

9. Le projet DIATELICSurveillance d’un système dynamique • Le patient, un système complexe • Traitement médical • Observation quotidienne • Dynamique mal connue • Evolution spontanée • Modélisation • On recherche un cas moyen •  Il existe des divergences, des aléas Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

10. Processus de décision Markovien partiellement observable Un POMDP est un n-uplet {S,A,O,B,T,R} • S  Ensemble fini d’états • A  Ensemble fini d’actions • O  Ensemble fini d’observations • B  Fonction d’observation B : OxS  [0; 1] • T  Loi de transition probabiliste T : SxAxS  [0; 1] • R  Fonction de récompense R : SxA  Ë Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

11. Obs Obs Obs Obs Les POMDPs Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

12. Ensemble fini d’étatsProblème de diagnostic • Un état normal • Des états représentant des déviations • Poids-sec • Hydratation • Choix de modélisation : • Modélisation des situations « pures » • Pas de modélisation des interactions Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

13. Ensemble fini d’actionsProblème de diagnostic • Une action modifie l’évolution du système • Une action peut être incertaine • Dans DIATELIC : • « Observer » • Reflète notre mauvaise connaissance de l’évolution du patient • Chaque état mène aux autres avec une probabilité équivalente • « Modifier le poids-sec » • Chaque état peut mener à tous les autres • Probabilité égale pour chaque état • Oublie le passé du patient Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

14. État normal Déshydratation Hyperhydratation Poids-sec trop bas Poids-sec trop haut Évolution du patientLe modèle DIATELIC Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

15. Les perceptions • POMDP  Observations discrètes • DIATELIC : Observations continues • Poids • Tension • Tension différentielle • Ultrafiltration •  Adaptation nécessaire Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

16. Discrétisation des valeurs continues • Discrétisation par intervalles • Effets de seuils gênants • Beaucoup de paramètres • Utilisation de fonctions continues • Expressivité très importante • Forme paramétrique fixée • Peut nécessiter beaucoup de paramètres Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

17. Perceptions floues • Peu d’intervalles • Sémantique claire • Complexité faible • Transitions douces • Pas d’effet de seuil • Bonne tolérance au bruit • Filtrer les observations • fv(O) = P(v | O) ; vV •  distribution de probabilités • Fonction d’observation : • B* : VxS  [0; 1] • B (o,s) = ∑ B*(v, s).fv(o)vV Probabilité du symbole Valeur observée Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

18. Expression du modèle perceptif • Chaque état est décrit : • Par son influence sur les observations • Indépendamment des autres états • Les capteurs sont supposés indépendants • La valeur fournie par un capteur ne dépend que de l’état du modèle • Chaque capteur est décrit séparément Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

19. Quelques chiffres • De nombreux paramètres : • Actions x Etats² probabilités de transition • DIATELIC : 50 paramètres • Valeurs x Etats probabilités d’observation pour chaque capteur • DIATELIC : 60 paramètres • DIATELIC : 40 paramètres libres • Probabilités de transition fixées • Contraintes sur les probabilités Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

20. Le profil–patient • Un profil–patient contient donc • Son poids-sec • Ses moyennes mobiles • Tension artérielle • Débit moyen de chaque type de poche • Ses probabilités d’observation • 41 paramètres à régler par patient ! • Apprentissage d’un profil générique • Apprentissage des variations Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

21. Apprentissage du profil • Apprentissage d’un profil générique • Algorithme de Baum & Welsh [Rabiner89] • Etiquetage d’un corpus • Chaque donnée est étiquetée • Le modèle est défini par des statistiques • Validation manuelle par les médecins • Vérification de la sémantique • Étude du diagnostic de cas connus Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

22. Calcul du diagnostic • Procédure Forward [Rabiner89] • Prédiction • Estimation de l’état actuel • Action en cours connue • Projection sur l’état au temps suivant • Recalage • Lecture de l’observation • Calcul des états compatibles • Affinage de la prédiction Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

23. Adaptation à un patient • En cas de désaccord du médecin • A partir des données observées • Spécifique à un patient • Permet un meilleur diagnostic futur • Avec l’aide d’un médecin • Modification manuelle des paramètres • Recherche automatique des paramètres • Validation du modèle Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

24. Adaptation : un problème difficile • Les conditions théoriques optimales • Chaque état est visité • Un grand nombre de fois • De façon représentative • La réalité • Le patient évolue Peu de données • Les pathologies sont rares Tous les états ne sont pas visités Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

25. Descente de gradient • Minimise une distance entre • Le diagnostic calculé • Le diagnostic corrigé • Maximise la robustesse • Probabilité des observations connaissant le modèle • Critère de Baum & Welsh •  Fonction complexe • Optimisation sans dérivées • Paramètres bornés Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

26. Descente de gradient en action Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

27. Une architecture générique Applications Perceptions Actions But recherché Environnement Localisation Navigation en robotique Infrarouges Sonars Caméra Avancer Reculer Tourner Atteindre une position donnée Position sur une carte DIATELIC Poids Tension Ultrafiltration Dialyse Médicaments Régime Maintenir une hydratation correcte Hydratation Poids-sec Assistance à l’anesthésie EEG ECG EMG Injecter Analgésiques Hypnotiques Curarisants Maintenir un niveau de sommeil optimal Profondeur de sommeilde l’analgésie Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

28. Conclusion Une architecture logicielle • Adaptée au diagnostic • Basée sur l’observation • Valeurs discrètes • Valeurs continues • Facilitant l’interaction avec un expert • Expression du diagnostic • Expression du modèle • Correction du diagnostic Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

29. Perspectives • Planification • Recommandation d’action • Boucle fermée (à long terme) • Adaptation par prédiction • Remplacer l’expert humain • Utiliser une prédiction de l’observation comme contrôle Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

30. Perspectives • Aspects continus • Actions • Paramétriques • Effet durable • Etats • Gradient de sévérité • Dynamique du processus Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion