1 / 30

Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels

Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels. Laurent JEANPIERRE Equipe MAIA Directeur de thèse : François Charpillet. Système dynamique. Perturbations. Système Réel. Actions. Observations. Modèle informatique. Introduction. Contributions

inigo
Download Presentation

Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels Laurent JEANPIERRE Equipe MAIA Directeur de thèse : François Charpillet

  2. Système dynamique Perturbations Système Réel Actions Observations Modèle informatique

  3. Introduction • Contributions • Modèle compréhensible par des utilisateurs • Apprentissage de modèle • Bibliothèque logicielle • Cadre applicatif • DIATELIC (ALTIR) • Assistance à l’anesthésie (CHU Brabois) • Navigation d’un robot mobile

  4. Plan de la présentation • Introduction à DIATELIC • Modélisation • Processus statistiques • Perceptions floues • Modèle global • Apprentissage et adaptation • Conclusion et perspectives

  5. Le projet DIATELICIntroduction • 1995 – 2002 • Suivi de patients • Traités en DPCA • Dialysés à domicile • Quotidiennement • Étude de l’hydratation • Joue un rôle central dans la dialyse • Non mesurable directement Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  6. Diagnostic Données Traitement Le projet DIATELICPrésentation schématique Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  7. Traitement Diagnostic Le projet DIATELICPrésentation schématique Données Alertes Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  8. DIATELICUn projet d’envergure • Une infrastructure conséquente • Un transport de données par réseau • Un serveur hébergeant le service • Une base de données • Des interfaces homme-machine • Un appui médical • Un module de diagnostic Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  9. Le projet DIATELICSurveillance d’un système dynamique • Le patient, un système complexe • Traitement médical • Observation quotidienne • Dynamique mal connue • Evolution spontanée • Modélisation • On recherche un cas moyen •  Il existe des divergences, des aléas Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  10. Processus de décision Markovien partiellement observable Un POMDP est un n-uplet {S,A,O,B,T,R} • S  Ensemble fini d’états • A  Ensemble fini d’actions • O  Ensemble fini d’observations • B  Fonction d’observation B : OxS  [0; 1] • T  Loi de transition probabiliste T : SxAxS  [0; 1] • R  Fonction de récompense R : SxA  Ë Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  11. Obs Obs Obs Obs Les POMDPs Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  12. Ensemble fini d’étatsProblème de diagnostic • Un état normal • Des états représentant des déviations • Poids-sec • Hydratation • Choix de modélisation : • Modélisation des situations « pures » • Pas de modélisation des interactions Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  13. Ensemble fini d’actionsProblème de diagnostic • Une action modifie l’évolution du système • Une action peut être incertaine • Dans DIATELIC : • « Observer » • Reflète notre mauvaise connaissance de l’évolution du patient • Chaque état mène aux autres avec une probabilité équivalente • « Modifier le poids-sec » • Chaque état peut mener à tous les autres • Probabilité égale pour chaque état • Oublie le passé du patient Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  14. État normal Déshydratation Hyperhydratation Poids-sec trop bas Poids-sec trop haut Évolution du patientLe modèle DIATELIC Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  15. Les perceptions • POMDP  Observations discrètes • DIATELIC : Observations continues • Poids • Tension • Tension différentielle • Ultrafiltration •  Adaptation nécessaire Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  16. Discrétisation des valeurs continues • Discrétisation par intervalles • Effets de seuils gênants • Beaucoup de paramètres • Utilisation de fonctions continues • Expressivité très importante • Forme paramétrique fixée • Peut nécessiter beaucoup de paramètres Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  17. Perceptions floues • Peu d’intervalles • Sémantique claire • Complexité faible • Transitions douces • Pas d’effet de seuil • Bonne tolérance au bruit • Filtrer les observations • fv(O) = P(v | O) ; vV •  distribution de probabilités • Fonction d’observation : • B* : VxS  [0; 1] • B (o,s) = ∑ B*(v, s).fv(o)vV Probabilité du symbole Valeur observée Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  18. Expression du modèle perceptif • Chaque état est décrit : • Par son influence sur les observations • Indépendamment des autres états • Les capteurs sont supposés indépendants • La valeur fournie par un capteur ne dépend que de l’état du modèle • Chaque capteur est décrit séparément Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  19. Quelques chiffres • De nombreux paramètres : • Actions x Etats² probabilités de transition • DIATELIC : 50 paramètres • Valeurs x Etats probabilités d’observation pour chaque capteur • DIATELIC : 60 paramètres • DIATELIC : 40 paramètres libres • Probabilités de transition fixées • Contraintes sur les probabilités Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  20. Le profil–patient • Un profil–patient contient donc • Son poids-sec • Ses moyennes mobiles • Tension artérielle • Débit moyen de chaque type de poche • Ses probabilités d’observation • 41 paramètres à régler par patient ! • Apprentissage d’un profil générique • Apprentissage des variations Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  21. Apprentissage du profil • Apprentissage d’un profil générique • Algorithme de Baum & Welsh [Rabiner89] • Etiquetage d’un corpus • Chaque donnée est étiquetée • Le modèle est défini par des statistiques • Validation manuelle par les médecins • Vérification de la sémantique • Étude du diagnostic de cas connus Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  22. Calcul du diagnostic • Procédure Forward [Rabiner89] • Prédiction • Estimation de l’état actuel • Action en cours connue • Projection sur l’état au temps suivant • Recalage • Lecture de l’observation • Calcul des états compatibles • Affinage de la prédiction Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  23. Adaptation à un patient • En cas de désaccord du médecin • A partir des données observées • Spécifique à un patient • Permet un meilleur diagnostic futur • Avec l’aide d’un médecin • Modification manuelle des paramètres • Recherche automatique des paramètres • Validation du modèle Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  24. Adaptation : un problème difficile • Les conditions théoriques optimales • Chaque état est visité • Un grand nombre de fois • De façon représentative • La réalité • Le patient évolue Peu de données • Les pathologies sont rares Tous les états ne sont pas visités Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  25. Descente de gradient • Minimise une distance entre • Le diagnostic calculé • Le diagnostic corrigé • Maximise la robustesse • Probabilité des observations connaissant le modèle • Critère de Baum & Welsh •  Fonction complexe • Optimisation sans dérivées • Paramètres bornés Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  26. Descente de gradient en action Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  27. Une architecture générique Applications Perceptions Actions But recherché Environnement Localisation Navigation en robotique Infrarouges Sonars Caméra Avancer Reculer Tourner Atteindre une position donnée Position sur une carte DIATELIC Poids Tension Ultrafiltration Dialyse Médicaments Régime Maintenir une hydratation correcte Hydratation Poids-sec Assistance à l’anesthésie EEG ECG EMG Injecter Analgésiques Hypnotiques Curarisants Maintenir un niveau de sommeil optimal Profondeur de sommeilde l’analgésie Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  28. Conclusion Une architecture logicielle • Adaptée au diagnostic • Basée sur l’observation • Valeurs discrètes • Valeurs continues • Facilitant l’interaction avec un expert • Expression du diagnostic • Expression du modèle • Correction du diagnostic Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  29. Perspectives • Planification • Recommandation d’action • Boucle fermée (à long terme) • Adaptation par prédiction • Remplacer l’expert humain • Utiliser une prédiction de l’observation comme contrôle Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

  30. Perspectives • Aspects continus • Actions • Paramétriques • Effet durable • Etats • Gradient de sévérité • Dynamique du processus Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion

More Related