Expérience tracée Système à Base de Trace

1. Expérience tracéeSystème à Base de Trace Théorie, formalisation, premières pratiques

2. Genèse de la recherche • De l’ingénierie des inscriptions de la connaissance exploitées en « temps réel » • Construction de systèmes à base de connaissances couplés avec l’environnement technique et humain. • Les techniques d’intelligence artificielle fondées sur la réutilisation de l’expérience « concrète » À une ingénierie de la connaissance pour concevoir des environnements informatiques fonctionnant « en intelligence » avec leurs utilisateurs ? -> une ingénierie de la connaissance dynamique fondée sur les interactions d’utilisation ? Séminaire Heudiasyc: 22 avril 2008 -

3. Questions de recherche • Expérience(s), interactions, contexte, situation, mémoire ? • Chez l’humain -> Sciences cognitives, philosophie… • Environnement informatique : Nouveaux objets informatiques ? • Apprendre, se remémorer, réutiliser, partager, transmettre, … • En tant que processus humains -> Sciences cognitives, philosophie… • En tant que processus informatiques (autonomes ?) • En tant que processus informatiques en « empathie » avec les processus humains. Séminaire Heudiasyc: 22 avril 2008 -

4. Prolégomènes (1) : Inscription numérique de connaissance • Définition : « Une connaissance est la capacité d’exercer une action pour atteindre un but. » • Pas d’action « rationnelle » sans connaissance (l’inverse n’est pas vrai?) • L’objet d’une connaissance est le corrélat d’une action possible (un objet n’existe que s’il est possible d’agir, y compris par la pensée, sur lui). • L’environnement comprend des structures matérielles, présentant des saillances [Gibson, 1979, Hutchins, 1994] pour notre système perceptif et sensorimoteur. Ces saillances suggèrent des actions au détriment d’autres. L’environnement prescrit ainsi des actions possibles • l’environnement permet de mettre en œuvre des connaissances en réalisant les actions qui les définissent. Séminaire Heudiasyc: 22 avril 2008 -

5. Prolégomènes (2) : Théorie du support [Bachimont 2004] • La théorie du support s’articule autour de la thèse centrale suivante : • Les propriétés du substrat physique d’inscription, et du format physique de l’inscription, conditionnent l’intelligibilité de l’inscription. • Elle comprend en outre les thèses suivantes : • 1. une connaissance est la capacité d’effectuer une action dans un but donné. • 2. un objet technique prescrit par sa structure matérielle des actions. L’objet technique est l’inscription matérielle d’une connaissance. • 3. toute connaissance procède d’une genèse technique. Seule la répétition, prescrite par les objets techniques, de l’action permet d’engendrer la connaissance comme capacité à exercer une action possible. • 4. la connaissance, engendrée par la technique, prescrit une transformation dans le monde des choses (l’objet technique est alors un instrument) ou une explicitation dans le monde des représentations (l’objet technique est alors une inscription sémiotique). • [5. une pensée est une reformulation effectuée par la conscience sur le support corporel qu’est le corps propre. Penser, c’est s’écrire. Toute pensée, comprise comme reformulation a pour cible de réécriture le corps propre, et comme origine, le corps propre ou une inscription externe quelconque. • 6. la conscience est un pur dynamisme intentionnel, source des ré-écritures considérées comme des interprétations et non comme un mécanisme.] Séminaire Heudiasyc: 22 avril 2008 -

6. Trace informatique comme conteneur potentiel d’expérience / Genèse des M-Traces • Expérience « compilée » dans une base de connaissances / inférence logique • Expérience « atomisée » dans une base de cas / inférence analogique • Expérience inscrite dans les traces d’interactions avec l’environnement (informatique) • Première généralisation : le modèle MUSETTE => Seconde généralisation : les M-Traces et la notion de système à base de traces Séminaire Heudiasyc: 22 avril 2008 -

7. problème problème source cible source solution solution source Raisonnement à partir de cas problème cible solution cible Séminaire Heudiasyc: 22 avril 2008 -

8. 1 2 3 problème problème source 1 3 2 cible source solution solution source F1(1, 2,3,1, 2, 3) F2(1, 2,3,1, 2, 3) Raisonnement à partir de cas problème cible solution cible Séminaire Heudiasyc: 22 avril 2008 -

9. Raisonnement à partir de cas • Une base de cas (des épisodes de résolution de problème) • Une base de connaissances / cas et la façon de les réutilise • Ontologie des descripteurs de cas • Structure d’un cas • Connaissances d’adaptation/remémoration pour la réutilisation • Un moteur de raisonnement analogique • Un système de résolution de problème « apprenant » Séminaire Heudiasyc: 22 avril 2008 -

10. Limitations… • Nécessité d’une « cristallisation » de l’expérience en structures de cas • Exploitation comme processus de remémoration, mais pas d’effet de « mémoire » en tant que processus. • Nécessité de disposer d’une modélisation a priori importante et normalisante • Nécessité de définition de « contextes » pré-établis • Capacités limitées d’accompagnement de la construction de connaissances • Application impossible à des problèmes « mal posés »… Séminaire Heudiasyc: 22 avril 2008 -

11. Trace d’interaction Base de traces Signature d’épisode Raisonnement à partir de l’expérience tracée Séminaire Heudiasyc: 22 avril 2008 -

12. Base de traces Raisonnement à partir de l’expérience tracée Trace d’interaction Signature d’épisode Séminaire Heudiasyc: 22 avril 2008 -

13. Raisonnement à partir de l’expérience tracée… Séminaire Heudiasyc: 22 avril 2008 -

14. Traces ? Hypothèses retenues • L’activité cible de raisonnement est médiée par l’environnement informatique • La trace est volontaire et attendue • Pour un observateur analyste • Pour l’utilisateur en situation d’usage réflexif • Pour un groupe en situation d’activité collective • La trace est un objet informatique tout à la fois: • Support à la construction de connaissances (modèles) • individuelles (réflexivité) • collectives (confrontation) • Support à la résolution de problème par réutilisation de l’expérience Séminaire Heudiasyc: 22 avril 2008 -

15. L’objet trace ? Système à base de traces ? Séminaire Heudiasyc: 22 avril 2008 - • Objet informatique : • Modélisation / invariants -> Trace modélisée (M-Trace) • Opérations spécifique -> transformations de trace • Système à base de trace : • Stocker, gérer, organiser les M-traces • Réaliser des requêtes de transformation

16. Collecte de traces : M-Trace première Séminaire Heudiasyc: 22 avril 2008 -

17. Transformations de M-Traces Modèle de Trace Séminaire Heudiasyc: 22 avril 2008 -

18. Visualisation de M-Traces • Système de visualisation : ensemble des techniques de présentation des traces selon une ligne de temps Visualisation de trace Abstract Séminaire Heudiasyc: 22 avril 2008 -

19. Notion de modèle de Trace Séminaire Heudiasyc: 22 avril 2008 - • Modèle de trace • Ensemble de concepts et de relations types qui s’instancient dans la trace • Pourquoi un modèle • Implicite vs Explicite • Post activité  décrire les traces résiduelles des systèmes informatiques (Fichiers log)‏ • Pré et post activité de traçage  Décrire, Spécifier et conceptualiser les traces qu’on veut avoir et obtenir • M-trace = Trace + Modèle

20. Domaine temporel / contraint l’extension temporelle d’une trace Séminaire Heudiasyc: 22 avril 2008 -

21. Modèle de Trace Séminaire Heudiasyc: 22 avril 2008 -

22. Trace Modélisée Séminaire Heudiasyc: 22 avril 2008 -

23. Classes Types c Classe d’observés Relations Types r Objet Action Relation Type Relations • id • Nom • type Relation Structurelle Relation Temporelle instanciation Domaine Temporel Modèle de trace 10:26:10 10:26:12 10:24:03 10:29:42 Obs 1 obs3 Obs 13 • Ouvrir • Fermer • Copier Obs 2 Obs 11 • D001 • Knowledge Management.doc • D0023 • Rewriting Queries.html Une trace Séminaire Heudiasyc: 22 avril 2008 -

24. Observé Classes Types c Classe d’observés Relations Types r Relation Type Objet Action Relations • id • Nom • type Relation Structurelle Relation Temporelle instanciation Document Composant Copier Exécuter Domaine Temporel • titre • Nom • Mode Modèle de trace 10:26:10 10:26:12 10:24:03 10:24:03 10:29:42 10:33:40 Obs415 Obs 1 obs3 Obs 13 - XMLTransform -Local • Ouvrir Obs 11 Obs 2 • D0023 • Component • Rewriting • D001 • XMLDocument • Knowledge Management.xml obs25 obs4 -Distant -ID3 • PdfDocument • Visualisation.pdf Une trace Séminaire Heudiasyc: 22 avril 2008 -

25. Observé Classes Types c Classe d’observés Relations Types r Relation Type Objet Action Relations • id • Nom • type Relation Structurelle Relation Temporelle instanciation Document Composant Copier Exécuter Domaine Temporel 1 • titre • Nom • Mode 0..n Modèle de trace 10:26:10 10:26:12 10:24:03 10:24:03 10:29:42 10:33:40 Obs415 Obs 1 obs3 Obs 13 - XMLTransform -Local • Ouvrir Obs 11 Obs 2 • D0023 • Component • Rewriting • D001 • XMLDocument • Knowledge Management.xml obs25 obs4 -Distant -ID3 • PdfDocument • Visualisation.pdf Une trace Séminaire Heudiasyc: 22 avril 2008 -

26. Transformations • Traitement permettant d'effectuer une ou plusieurs opérations  sur une trace en entrée et dont le résultat de transformation est une nouvelle trace Trace transformée • Les transformations peuvent être manuelles (mais explicites) ou automatiques. • Les transformations (identifiées) peuvent être • Sélection • Fusion selon les domaines temporels • Réécriture de motifs Séminaire Heudiasyc: 22 avril 2008 -

27. Sélection 1/4 • Sélectionner les observés de la trace qui répondent à certains critères • Éliminer les observés « bruit » dans la trace • Simplifier la lecture de la trace • Recherche de motifs/patron (pattern matching) • Exemple  trouver tous les observés « Action » ayant l’attribut « Type = Copier » • Besoin d’une notation pour décrire ces patrons • Besoin d’un algorithme pour extraire les motifs d’observés vérifiant les patrons Séminaire Heudiasyc: 22 avril 2008 -

28. Sélection 2/4 • Représentation du patron • Les éléments du modèle sert de langage (alphabet) pour la description des patrons • Les classes d’observés et les relations types • Exemple : Patron Structurel (Classe; Relation Type; Classe)‏ • (Action.Type=Copier - R -Objet)‏ Modèle Objet Id2 Page Web id1 Document id1 Document id3 Message Id2 Page Web • id • Nom R Ouvrir Copier Copier Envoyer Copier Copier Action • Type Temps Séminaire Heudiasyc: 22 avril 2008 -

29. Sélection 3/4 • Représentation du patron • Patron Temporel (Classe; Relation Temporelle ;Classe)‏ • (Copier ; Objet ; Envoyer) ou plus précisément (Copier Before Objet Before Envoyer)‏ Modèle Objet Id2 Page Web id1 Document id1 Document id3 Message Id2 Page Web • id • Nom R Ouvrir Copier Copier Envoyer Envoyer Copier Action • Type Temps Séminaire Heudiasyc: 22 avril 2008 -

30. Sélection 4/4 + expression régulière • La description d’un patron peut exprimer alternatives, répétitions, « jokers », etc. • « | » représentant les alternatives. • (Copier;Objet)|(Envoyer;Objet) signifie (Copier;Objet) ou (Envoyer;Objet)‏ • Exemple  (Copier|Couper;Coller);Document matche avec • Copier;Document ou Couper;Coller;Document. • « * » permet la répétition (0 plusieurs fois). • Copier;Objet* matche avec {Copier}, {Copier;Document} {Copier;Document;Document} … • Ouvrir;(Modifier;Objet)* matche avec {Ouvrir}, {Ouvrir;Modifier;Document}, {Ouvrir;Modifier;Document} {Ouvrir;Modifier;Text;Modifier;Document} … • « + » permet 1 ou plusieurs répétitions. • Copier;Objet+ matche avec {Copier;Document} {Copier;Document;Document} • « ? » matche n’import quel observé. • Copier?Objet matche avec {Copier;Document} {Copier;Text;Document}{Copier;coller;modifier;Document} ... • … Séminaire Heudiasyc: 22 avril 2008 -

31. Remarques / opérations de sélection • Représentation du patron Temporelle (Classe; Relation Temporelle ;Classe) est dépendante du domaine temporel de la trace. • Cas instant  Relations temporelles peuvent être {Before, After} • Cas intervalle  Relations temporelles peuvent être {Before, After, Between, Meet, …} • Le cas hybide (Instants + intervalles + domaine ordonné) • Dans le cas général, les expressions régulières  • Peuvent être représentées par un réseau ou les nœuds représentent les états et les connections représentent les transitions entre eux. • Les nœuds dans notre algorithme capture l’état dans lequel certains observés ont été appariés avec succès. • Ce réseau se réfère à un automate à états finis (Stephen Kleene). • En particulier, il s’agit d’un automate à états finis non déterministe nécessitant le choix de nœuds également possibles à explorer. Nécessité de gérer les erreurs (retour arrière par exemple). Séminaire Heudiasyc: 22 avril 2008 -

32. Réécriture de Motifs • Un motif est l’ensemble des observés correspondant à un patron • Plusieurs motifs peuvent correspondre à un patron • Selon algorithme • La réécriture de motifs permet de remplacer les motifs reconnus par de nouveaux observés (modèles de traces différents) • Verrous • Règles de réécriture • Nouvel Observé  Séquence appariée correspondant au patron • Prendre en compte les propriétés des éléments réécrits • Réécriture de motifs vs agrégation des motifs réécrits • Indécidabilité théorique de la terminaison d’un système de réécriture Séminaire Heudiasyc: 22 avril 2008 -

33. Réécriture • Document  Objet.nom = « Document » • Document modifié  Document;Modifier Modèle Document modifié Document édité Document Document Objet Id2 Page Web id1 Document id1 Document id3 Message Id2 Page Web • id • Nom R Ouvrir modifier modifier Envoyer Copier Action • Type Temps Séminaire Heudiasyc: 22 avril 2008 -

34. Réaliser un SBT ? • Comment développer et implémenter un Framework pour les SBT ? • Verrous Techniques • Développement et Implémentation du Système ATER • Le Framework ATER • L’application ATER • État d’avancement Séminaire Heudiasyc: 22 avril 2008 -

35. Réaliser un SBT : choix à faire… • Choix / traces • Trace d’exécution d’un programme / Trace d’utilisation d’un environnement • A base d’instants, d’intervalles ou ordonnées • Niveau d’abstraction des observés de la trace première… • Notion de modèle de trace • Simple (liste) vs Complexe (Graphe)‏ • Langages associés pour interroger et transformer des traces • Différentes utilisations (Analyse, Assistance, etc.)‏ • Choix Techniques • Collecte • Interfaces de collecte • Volume des données • Sémantique des observés ? • Framework informatique générique utilisable • Embarqué au sein d’applications ? • Comme un service ? • Dans une chaîne d’outils ? Séminaire Heudiasyc: 22 avril 2008 -

36. Architecture retenue / EIAH Séminaire Heudiasyc: 22 avril 2008 -

37. ATER (Atelier pour la gestion de Traces, leurs Exploitations et Représentations) Système ATER = ATER Framework Informatique + ATER Application Séminaire Heudiasyc: 22 avril 2008 -

38. Les fonctions à assurer • Collecte des traces brutes (dépendant de l’application source)‏ • Langage de modélisation des traces • Transformation des traces • Persistance des traces, stockage • Sécurisation des traces • Requêtes sur les traces • Visualisation des traces Séminaire Heudiasyc: 22 avril 2008 -

39. L’architecture retenue Framework ATER Séminaire Heudiasyc: 22 avril 2008 -

40. Les outils de développement ATER • Les technologies utilisées pour le développement • Langage Java • Plateforme Eclipse : application interopérable, extensible et réutilisable • RCP (Rich Client Platform), GEF (Graphical Editing Framework), EMF (Eclipse Modeling Framework)‏ • Framework ATER : description de traces et de modèles très hétérogènes • OWL (Ontology Web Language) pour la modélisation de la trace et de son modèle • Licence : ATER est Open Source sous licence LGPL Séminaire Heudiasyc: 22 avril 2008 -

41. Services ATER 1/3 • Package de collecte • Stockage en local et à distance (Apache Jackrabbit)‏ • Construction du modèle de trace première • Outils externes de création d’ontologies (Protégé, SWOOP, etc.)‏ • API OEDM (EMF Ontology Definition Metamodel) soutenue par Eclipse et IBM • Editeur Graphique basé sur EMF et GMF (Eclipse Modeling Framework, Graphical Modeling Framework)‏ • Construction de la trace première • Import • Collecte en temps réel (acquisition)‏ Séminaire Heudiasyc: 22 avril 2008 -

42. Services ATER 2/3 • Package de gestion : • Des traces et modèle moyennant des métadonnées, descriptions • Des sources de traçage (notamment dans un objectif d’analyse)‏ • Notion de catégorie/classe • Relations • Package de sécurité • Notion de « Propriétaire (Owner)  » de la trace et du modèle de trace • Restrictions par « Groupe » « User » « Rôle » • Package de transformation • Types de transformations • Sélection • Filtre de sélection • Réécriture de Patterns (Motifs)‏ • Expression de patterns • Fusion temporelle de m-traces Séminaire Heudiasyc: 22 avril 2008 -

43. Services ATER 3/3 • Package de visualisation • Plugins de visualisation permettant la mise à jour des observés • Visualisation de plusieurs traces en synchronisation avec des source de traçage (notion de Player ou Rejoueur)‏ • Package de requêtage • Interface service d’interrogation • À base de modèle de trace (au niveau des traces contraintes par ce modèle)‏ • Sur la base de traces (Full text ou sur les description des traces, leurs catégories, ressources, etc.)‏ Séminaire Heudiasyc: 22 avril 2008 -

44. Avancement (mars 2008) • Gestion, Stockage, sécurité  • Collecte des m-traces • Import  • Collecte en temps réel X • Transformation X • Modèle de transformation FrameworkUI X • Service de transformation (Transformateur) X • Description et Calcul d‘indicateurs • FrameworkUI X • Interrogation X • Trace  • Base de traces X • Visualisation • Une visualisation classique  • Visualisation de plusieurs traces, visualisation de traces avec source de traçage (i.e. vidéo) X • Éditeur graphique de modèle de traces (basé sur GMF  )‏ Présentation du SBT Séminaire Heudiasyc: 22 avril 2008 -

45. ATER Séminaire Heudiasyc: 22 avril 2008 -

46. ATER Séminaire Heudiasyc: 22 avril 2008 -

47. Séminaire Heudiasyc: 22 avril 2008 -

48. Quelques exemples d’applications • Facilitateur de gestion de connaissances (gestion d’affaires ANTECIM) • Environnement pour l’analyse comportementale des conducteurs automobiles (INRETS) • Facilitateur pour l’apprentissage collaboratif en e-learning (e-Lycée) Séminaire Heudiasyc: 22 avril 2008 -

49. Exemple 1 : Interface de gestion d’affaires Séminaire Heudiasyc: 22 avril 2008 -

50. Les modèles… Modèle de collecte Séminaire Heudiasyc: 22 avril 2008 -