Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels

1. Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels Raphaël GrassetJean-Dominique Gascuel iMAGIS-GRAVIR/IMAG iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF

2. RéalitéAugmentée (RA) Réalité Virtuelle (RV) Réalité (R) Intégration R+V Simulation, AnimationCalculs ComplexesInformations évolutives Métaphores naturelles de communications (verbales, gestuelles expressions)interaction 3D intuitive Motivations

3. Motivations • Applications • Visualisation scientifique • Architecture, urbanisme • Ingénierie • Jeu • Éducation ..Etc..

4. Motivations But : proposer un environnement de réalité augmentée collaboratif multi-utilisateur. Difficultés: • Calibrage et Alignement des deux mondes. • Erreur de mesures + latence (délai mesure-vision). • Techniques d’interaction intuitive. • Intégration visuelle des deux mondes (occultations, éclairage). • Gestion multi-utilisateurs. Approche : (simplicité, rapidité) / (fiabilité, robustesse)

5. Etat de l ’Art Approche Réalité Virtuelle [Feiner92], [Bajura92], [Sims94], [Azuma94], [Tuceryan94], [State96] Approche Interface Homme-Machine [Well1ner91], [Krueger91], [Rekimoto94], [Berrard99]

6. Etat de l ’Art Système collaboratif en RA [Ahlers95], [Schmalstieg96], [Agrawala97], [Butz99], [Broll00], [Tiles01] [Ullmer97], [Rauterberg98], [Raskar98], [Streitz99], [Rekimoto99]

7. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Calibrage : Rapide et Intuitive • Nouvelles Techniques d’interactions • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

8. Architecture Logicielle But : configuration session (rapide, optimisé) et supporter différents utilisateurs, périphériques, objets manipulés. Approche : Architecture modulaire + Configuration par fichier XML. Application GestionObjets( chargement, droit, initialisation..) GestionInteractions( Navigation, Manipulations, Outils) Gestionmatériel(capteur, graphique, vidéo, son..) GestionUtilisateurs(configuration, initialisation ) OpenGL Performer, AL, VL, Qt Unix, X

9. Gestion matériel But : support périphériques personnels (jeu) + environnement fixe (industrie). Calibrage et incorporation des périphériques au système. Approche : technique de calibrage simple et intuitive réalisé par utilisateur. « plug’n calib’ n play » ([Studierstube]).Complexité masqué par fichier configuration XML ([RS01]). Application Calibrage + Configuration p->GetData() Fichier XML Environnement

10. Configuration : Petit Groupe Configuration centralisé : • utilisateur autour d’une table : collaboration face à face. • Aire partagée et Aire privée. Aire partagée Aire personnelle(menu virtuel, donnée privée)

11. Configuration : Environnement Informatique • Visualisation: Casque semi-transparent optique vue directe, information privée, faible poids. • Interaction: stylo • facilement utilisable. • Tracking: capteur magnétique • rapide, • pas de ligne de visibilité.

12. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Calibrage : Rapide et Intuitive • Nouvelles Techniques d’interactions • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

13. Head CS Eye CS Transmitter CS HMD Calibration Receptor CS Pen Calibration Image CS Emitter CS Tip CS World CS World Calibration Calibrage But : Erreur statique : mauvais alignement entre réel et virtuel ([Azuma94]).Approche : méthode de calibrage interactive avec effort minimum. Suffisamment précis et rapide.

14. Point fixe P4 P1 Calibrage : Méthode • Calibrage du casque ([Azuma94], [Tuceryan95], [Tuceryan00] ) : figer la vue et aligner un objet réel avec un objet virtuel. • Calibrage du stylo ([Fuhrmann99],[Tuceryan95]) : orienter le stylo dans 4 directions très représentatives. • Calibrage du monde ([Fuhrmann99],[Tuceryan95]): sélection de 4 points du plateau. P2 P3

15. Calibrage : Résultats 2 cm Erreur largement acceptable pour un grand nombre d’applications. Erreur Dynamique : Filtrage de Kalman ([Azuma94]).

16. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Calibrage : Rapide et Intuitive • Nouvelles Techniques d’interactions • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

17. Manipulations d ’objets But : manipulation intuitive des objets.Approche : « retour haptique » favorise interaction. => contact avec la table. => respect de la gravité. Métaphore naturelle / Métaphore virtuelle ([Kato00]).Outils dans la zone personnelle de l’utilisateur (déplacer, tourner, détruire, ajout d’objets).

18. Manipulations d ’objets : Déplacement objets Approche : adapté des méthodes réels (pas de « clic »). Saisir, Soulever, Déplacer Toucher, Pousser

19. Déplacement d’objets • Méthode « Lever-Déplacer » Stylo Objet virtuel Plan de travail

20. Déplacement d’objets • Méthode « Glisser » • Animation du déplacement Stylo Objet virtuel Plan de travail

21. Ajout d ’objets But : ajouter objets réels et virtuels de façon dynamique([Szalavari97], [Kato00]). Approche : -Ajouter des objet virtuels : menu virtuels. -Ajouter des objets réels : digitaliser ces objets. Pourquoi ? Décor (statique), TUI (dynamiques).Quel Type ? Modèle connu/inconnu.

22. Ajout d ’objets : modèle connu But: obtenir la transformation entre le repère de l’objet et le repère du monde (géométrie+apparence connue). Contrainte: Objet posé sur un support plan (3DOF). Methode: superposer représentation virtuel avec la representation réel du modèle. Object CS Objet réel Objet virtuel

23. Ajout d ’objets : modèle connu pion réel

24. Ajout d ’objets : modèle inconnu But:obtenir la position et la géométrie de l’objet générique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 5 DOF P1

25. Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 5 DOF P1

26. Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 2 DOF P1 P2

27. Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 0 DOF P1 P2

28. Ajout d ’objets : modèle inconnu

29. Tangible User Interface (TUI) But : utiliser un objet réel pour manipuler des objets virtuels ( [Fitzmaurice95], [Ishii97], [Fjeld97], [Poupyrev01]). Contraintes: un capteur et plusieurs objets réels à manipuler. Approche : temporairement attacher un capteur magnétique aux objets précédemment ajoutés. Objets réel

30. Passage RA/RV But : Visualisation de la scène sous différents points de vue. Passage RA (face à face) à RV (immersion)([Kiyokawa99], [Kato00]).Approche : « plonger dans la scène ». ( WIM [Stoakley95]). t1 t1 t2 t2 Arbres Personnage Plan de travail

31. Utilisateur Visibilité Déplacement Annotation Défaut Architecte Maurice Clients Joe Robert Multi-utilisateurs But : Informations suivant le rôle d’un utilisateur.Approche : vue personnelle( [Smith96], [Agrawala97], [Szalavari98], [Butz99]).Matrice creuse pour chaque objet.

32. Multi-Utilisateurs : résultats Vue Maître de Jeu Vue Joueur 1 Vue Joueur 2

33. Vidéos

34. Conclusions et Futurs Travaux • Environnement de RA basé sur une architecture souple. • Support # utilisateurs, # périphériques, # données. • Techniques de manipulation d’objets réels et virtuels dans un même espace (stylo « mixte » + TUI). • Simulation dans l’espace de travail. • Réalisme de l’intégration : éclairage, ombres. • Occultations mains, doigt, bras. • Déplacement d’objets sans capteurs (TUI + « Real Reality »). • Évaluation.

35. Travaux précédents • Interactions avec des objets réels • Whitaker[1995] • Shared Space[1999] • Build-IT[1997]

36. Reconaissance de geste • Problème : passage de commandes rapidement [Starner,1995] • Geste simple : déplacement horizontal sur le plateau de jeu • Extension à une trajectoire complexe : successions de segments • Ex : “CFC “

37. Premier prototype

38. Le stylo mixte

39. Interaction 3D

40. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Architecture Logiciel • Gestion Souple du Materiel • Configuration de Test • Nouvelles Techniques d ’interactions • Manipulation d ’Objets • Ajout d ’objets • Passage RA<->RV: exocentric egocentric • Gestion multi-utilisateurs • Conclusion et Futurs Travaux