Laboratoire L3i Université de La Rochelle

2. Equipe de Recherche Technologique « Interactivité Numérique » Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Pascal Estraillier François Picard

3. Image & Behavior Image and SequenceofAnalyticimages andInterpretationof Content Modelling, Treatment,Retrieval ofComplexInformation AgentParadigm andArchitecture for Interactive NarrationApproach FormalSpecification andValidation 12year old university 60Researchers in C.S. 11Tenured Professors 4Professors 19Assistant Professors 26Ph.D. students E.R.T“NumericalInteractivity” InteractiveMaster“Gaming andMedia”

4. Domaines d’application • Jeux vidéo • Exécution adaptative des personnages du jeu • Logiciels éducatifs • Situations d’apprentissage • Gestion des actions imprévisibles • Simulation • simulation de situations complexes / systèmes spatio-temporels • Régulation : Circulation urbaine • Observation, étude : vie artificielle, • Serious Game • Niveau stratégique • Niveau tactique • Niveau Opérationnel • Robotique - jouets

5. Activité Interactive • Concepteur (définition, évaluation de la pertinence) -->domaine d’expertise • Joueur(s?) (utilisation) --> profil (préférences, compétences) • [Spectateur (observation)] • Temps réel • Images animées, scènes (capture, suivi) • Interaction joueurs , entités • Présupposé de comportements • Prise en compte du contexte à chaque instant • Adaptativité à l’exécution • Feedback Concepteur/Joueur/Spectateur • L’humain est dans la boucle

6. Contrôle adaptatif de l’interactivité et de l’exécution en fonction du comportement du joueur, en respectant les consignes du concepteur en tenant compte de l’état des ressources • Cahier des charges : • Interaction non invasive - gestion de l’implicite • Pouvoir analyser en temps réel, de manière individualisée, le comportement d’un joueur • Continuerle jeu avec la suite la plus adaptée en fonction ducontexte • Le concepteur doit pouvoir mesurer la pertinence de son jeu

7. Contrôle adaptatif 3 2 Trame scénaristique 1 4 5 6 Traces

8. Cycle acquisition / traitement / visualisation Capture Image et son Numérisation son Analyse de scène

9. Exécution adaptative Cycle acquisition / traitement / visualisation Joueurs PNJ trace Concepteur Capture image directives interactions Scénario prévu Contrôles Comportements propriétés Scénario observé analyse Moteur de l’application

10. Exécution adaptative d’applications interactives [navigation] entre Situations (impliquant personnages et ressources munis de leurs interactions) • Concevoir l’activité interactive • Définir (utiliser) une Ontologie • Construire une trame scénaristique • Définir (utiliser) un système auteur • Valider la conception • Concevoir l’environnement d’exécution • Architecture générale (Données, Traitements) – gabarits,réutilisation • Acquisition/Capture – explicite, implicite • Gestion des interactions • Présentation/Réalité virtuelle • Exécuter (adaptativité - temps-réel) • Observer, interpréter, décider et évaluer pour adapter • Méthodes, Modèles, Outils // Données, Traitements

11. Méthodologie & cycle de vie • Définition de l’activité (l’auteur) Eléments du jeu, règles du jeu, … Trame scénaristique Directives générales Profils types des joueurs Propriétés Principe des observations, production des traces Personnalisation • Acquisition de comportements (le joueur) Observation et mémorisation des comportements • Personnalisation (l’auteur) Profil individualisé Directives et traces individualisées • Implantation sur une architecture système • Exécution contrôlée Génération des traces + configuration des observations Evaluation en temps réel des objectifs (choix des directives) Contexte (état du jeu), comportement du joueur, objectifs de l’auteur , respect des propriétés • Reporting (Exploitation des traces) Pertinence de la personnalisation --> 1.b Adéquation du jeu --> 1 par rapport aux objectifs (éléments du jeu, directives) , au parcours et au comportement

12. Problématique d’interprétation Intelligence Artificielle Webcam Clavier Ecran tactile … Exécution Pas-à-pas Mouvement Geste Comportement Exécution Contrôlée Acquisition

13. Exécution adaptative • Initialisation • Tant que exécution non finie • décider_action (état-espéré) • Tant que situation non finie • configurer_observation (action) • exécuter_action (action) • décider_état-observé • évaluer_distance (état-espéré, état-observé) • décider_action (état-espéré) • transition_situation Action Observation État espéré distance État observé d1 d3 d2 Une exécution : un chemin dans un graphe (fini ?) un arc (arête) du graphe : une Action Chaque nœud : un état du système Mot d’état : <R1.état, R2.état, ….., Rn.état>

14. Conception et Formalisation de l’activité interactive • Nouvelle forme de structuration de l’activité interactive (trames scénaristiques, situations, directives des concepteurs associés aux différents comportements de l’utilisateur, caractérisation de contexte) • Méthodologie – Langage d’interaction concepteur - Editeur/Interface Utilisateur adaptée. • Formalisation des « directives » du concepteur et de leurs conditions d’application. • Formalisation de la scénarisation (vérification des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles - contraintes temporelles liées au scénario) • ->méthodes formelles(réseaux de Petri, logique linéaire, bigraphes et éléments de la théorie des jeux) pour la vérification des scénarios à partir de propriétés expertes  (métier) structurelles ou non fonctionnelles • ->prise en compte des contraintes temporelles liées au scénario et aux ontologies structurant les connaissances. •  ->une approche par transformation de modèle est expérimentée.

15. Capture du Comportement utilisateur(s) • Problématique • A bas niveau : capture sans marqueur, analyse d’image et de mouvement (séquences temporelles) d’éléments visuels à comportement complexe et évolutif, prise en compte des occlusions, obtention d’une information des profondeurs précises…. • A haut niveau : Gestion des connaissances : conception par apprentissage adaptatif d’un modèle du joueur, analyse et filtrage des paramètres du modèle d’apprentissage (identification comportements multimodaux : Expressions faciales, états émotionnels, mouvement, comportement collectifs sociaux et économiques…) • Modélisation des connaissances d’expertise: Ontologie, mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …). • Modèle de l’attention • Introduction de comportements implicites • Détection et suivi de détails temps réel. • Intégration de données sémantiques dans l’aide à l’analyse d’images -> modélisation de l’utilisateur, du raisonnement et de l’expertise dont le calibrage repose sur des données incertaines et évolutives. • Contraintes temps-réel -> problèmes difficiles de classification des comportements, de détection de situations et d’identification de contexte

16. Exécution adaptative - Simulation • Conception des mécanismes, de l’architecture des systèmes interactifs et de l’interfaçage avec les plate-formes d’exécution et de stockage et d’indexation des données. • Gabarits de conception, Interopérabilité – Architecture du Système Interactif - Multi-Agents • Intergiciels pour les applications interactives mono et multi-utilisateurs. • -> construction formalisée et efficace d’un modèle adaptatif des acteurs dynamiques du système • ->mise en œuvre d’un mécanisme de contrôle d’exécution. • ->mécanismes de spécification et de vérification a priori puis dynamique des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles en utilisant des méthodes formelles. • ->passage à l’échelle et données incertaines et évolutives

17. Thèses • Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés • François Picard (2006) • Détermination de l’attention • Matthieu Perreira (2006) • Conception d’une plate-forme adptative d’enseignement à distance • Supparang Ruangvanich (2006) • Synthèse dynamique de superviseur pour l’exécution adaptative d’applications interactives. • Nicolas Rempulski (2008) • Quiproquos et ambiguités • Pham Phuong Thao (2009) • Gestion de l’adaptation en FOAD • Frabrice Trillaud(2009) • Exécution adaptative • Karim Sehaba -> 2004 • Un modèle de conception centré interactions: Formalisation et application à la conception de systèmes complexes • Frédéric Collé -> 2006 • Modélisation de comportements dans les systèmes dynamiques • Jean-Marie Boussier ->2003 • Scénarisation d’applications interactives • Guylain Delmas ->2009 • Capture et Analyse de mouvement - expressions faciales • Abdallahi Ould ->2009 Reconstruction 3D • Olivier Guillot -> 2008

18. Contrats de Recherche L3i dans le domaine Image et Interactivité FT_AutiSTIC RobAutiSTIC Le Parc de l’Estuaire Simulateur d’entraînement FOAD PLUG NOE-IRIS • CPER (2007-2013) (2,3 M€) Théorie et applications aux médias numériques Interactions pour la formation à distance • Fondation France Telecom pour l’autisme (2006-2008) (65 K€) Exécution adaptative et personnalisée d’application interactives. • Projet labellisé par l’ANR (programme robotique) – (2007-2010) (100 K€) et CAP Digital Exécution adaptative et personnalisée d’application interactives. • Conseil Général de Charente-Maritime (2006-2009) (80 K€) Jeu éducatif sur un éco-système environnemental • Contrat DCNS (2006-2008) - Simulation adaptative et aide à l’évaluation • Région Poitou-Charentes (2007-2009) - (122 K€), • Formation Ouverte et à distance Présentiel virtuel et adaptativité. • ANR -PLay Ubiquitous Games and play more (2007-2009) - (54 K€) Jeux pervasifs. • Réseau d’excellence (2008-2011) – (225 K€) • Integrating Research in Interactive Storytelling.

19. Conclusion • Domaine pluridisciplinaire • sciences cognitives • modélisation des connaissances • méthodologie éducative • Difficultés • formalisation des observateurs • processus d’interprétation • adaptation de cas (globale et locale) • Avantages • personnalisation de l’application à l’utilisateur • évaluation de la pertinence de l’application • évolutivité et interactivité des logiciels • compréhension du comportement de l’utilisateur • Constat • Dans l’industrie peu de planification, d’adaptation, d’apprentissage, de dialogues naturels …

20. ImagIN • Image et comportement - avec contraintes temporelles • capture non intrusive (visage, geste et mouvement) • reconstruction de scène animée (maillages multi-résolutions) • Analyse des comportements implicites ou explicites • ontologie, modélisation des comportements multimodaux  • mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …). • Génie Logicielpour Systèmes Interactifs • Système auteur pour la production et la personnalisation d’applications interactives • Approches formelles pour la qualité des stratégies d’interaction dans un cadre narratif • Contrôle contextualisé de l’exécution adaptative.

21. Equipe de Recherche Technologique « Interactivité Numérique » Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Pascal Estraillier François Picard

23. Problématiques associées … • Image • Animation procédurale, Rendu non réaliste, Illumination locale • Son • Son génératifs, Transformation en temps-réel de la voix • IA • Comportement intelligent (dialogues, attitude, comportement de groupe), Modèle du joueur et jeux adaptatifs, Optimisation du système • Génie Logiciel • Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité • Système / iaD / SMA • Architecture distribuée, temps-réel, sécurité, systèmes spatio-temporels • Réseau • Cross Media plat-form, Technologie de l’informatique ubiquitaire • Ecriture/Narration/Game Design • Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur, Théorie du Game Design • Psychologie et Sociologie • Analyse des usages et de la socialisation, Facteurs d’immersion (Presence), Interface et apprentissage, Effet sur les joueurs (addiction, violence), Utilisation des jeux comme traitement psychologique

24. Applications Interactives : un contexte difficile • Complexité croissante des applications • Nombre croissant des objets pris en compte • Aspects méthodologiques insuffisants • Changement de contextes fréquents • Importance de la « satisfaction du joueur » • La qualité de l’activité interactive est uniquement lié à des critères perceptifs • Importance de l’ergonomie • Dépendance à la « compétence » des joueurs - apprentissage • L’état global du système est complexe (pas limité à quelques évènements)

25. Utilisateur Trame scénaristique Problématique « exécution adaptative des systèmes interactifs » Traces Contrôle d’exécution Directives Scénario Contributions Profil de l’utilisateur Interaction • profil utilisateur • connaissance de l’expert • interaction dynamique Système adaptatif Trace Comportements de l’utilisateur Contrôle d’exécution Expert Analyse de comportement