1 / 27

Prenez le contr ô le avec Kinect

Prenez le contr ô le avec Kinect. 26 janvier 2012. Qui suis -je ?. Tanguy de Chant é rac Etudiant en 3ème année Ms- Lab : Laboratoire des technologies Microsoft de l’EPITECH Windows Phone 7 SharePoint XNA Kinect. Kinect ? Qu’est ce que c’est ?.

akando
Download Presentation

Prenez le contr ô le avec Kinect

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Prenez le contrôle avec Kinect 26 janvier 2012

  2. Qui suis-je ? • Tanguy de Chantérac • Etudiant en 3ème année • Ms-Lab : Laboratoire des technologies Microsoft de l’EPITECH • Windows Phone 7 • SharePoint • XNA • Kinect

  3. Kinect ? Qu’estcequec’est ? • Kinect est une caméra créée par Microsoft • La première caméra de détection et retranscription de mouvement. • Contrôler des logiciels et des jeux sans souris ni clavier • Interface naturelle (NUI)

  4. Pourquoiestellesipopulaire ? • La première caméra de détection et retranscription de mouvement. • Beaucoup d’avantages par rapport à la wii / PSMove (pas de wiimote, aucunemanette) • Meilleure precision quesesconcurents • Beaucoup de jeusur Xbox 360 • Dance Central • Kinect Sport • Kinect Adventure • Fruit Ninja • …

  5. Développer avec Kinect • Il est possible de développer des applications pour Kinect (depuis 8 mois déjà …) • Télécharger le SDK Kinect et l’installer • Utilisation de Visual Studio comme IDE • Apprendre / Utiliser C# et WPF • RTFM (Lire le manuel) 

  6. Prendre le contrôle avec Kinect • SDK et Architecture • Buffer Video • Buffer de Profondeur (Depth) • Suivi de Squelettes • Gestes • Gestion du son

  7. SDK • Développé par Microsoft Research • Utilisation non commerciale uniquement • Windows 7et Windows 8 (uniquement) • x86 • x64 • C# et C++ • Un SDK commercial a étéannoncé pour le 1er février 2012 (sortie de la Kinect for Windows)

  8. Anatomie

  9. Limitesd’utilisations Entre 1,2 et 3,5mètres

  10. Initialiser la caméra //on declare un nouveau Runtime Runtime _nui; foreach(varkinect in Runtime.Kinects) { if (kinect.Status == KinectStatus.Connected) { _nui = kinect; break; } } if (Runtime.Kinects.Count == 0) throw new ArgumentException(" No Kinect Connected"); else { try { _nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking |RuntimeOptions.UseColor); Runtime.Kinects.StatusChanged+= KinectStatusChanged; } catch (exception ex) { //traitement de l’exception }

  11. Démonstration • Initialisation du SDK

  12. Buffer Vidéo • Résolutions : • 640 * 480 • 1280 * 1024 • Format : • RGB • YUV • Données fournies au travers d’une stream • Evénementiel

  13. Démonstration • Affichage du flux vidéo

  14. Buffer de profondeur

  15. Buffer de profondeur • Résolutions • 640x480 • 320x240 • 80x60 • Données sous forme de stream • Evénementiel • Stockage sur 13 bits • 10 bits pour la distance en millimètres depuis le capteur • 3 bits pour donner l’index de la personne reconnue

  16. Démonstration • Affichage de la depth stream

  17. Démonstration • Combinaison de la depth stream et de la vidéo

  18. Suivi des squelettes • Reconnaissance immédiate • Evénementiel • 4 squelettes détectés • Chaque squelette donne sa position • 2 squelettes suivis(tracked) • Liste de joints (points de contrôles) • Chaque position donne également sa qualité(.w entre 0 et 1)

  19. Points de contrôles

  20. Démonstration • Suivi du squelette

  21. Gestures et postures • Techniques de détection des gestures • Algorithmes • Postures • Problématiques • Quand commencer ? • Quand finir ? • Gérer les mouvements parasites ?

  22. Gestion du son • Kinect c’est aussi • Un groupe de 2 microphones • Des algorithmes de : • Réduction du bruit ambiant • Annulation de l’echo • Beamforming • Tracking de la source sonore • Compatible avec MS Speech

  23. Problèmes • Latence (1280 x 1024) • Contrôle vocal : pas encore au point • Gestes parasites • SDK limité (pour instant). • Précision parfois discutable.

  24. SDK Final (Kinect For Windows) • Nouveautés : • Integration de Microsoft speech. • Tracking du squelette amélioré. • Mapping des API. • Les API ontétérenommées. • Une nouvelle caméra (250$ :s) • Un nouvel event (AllFrameReady) • Unelibrairie de gestures / Postures ? • Des outils de debugs ?

  25. Et après ? • D’autres idées: • Mouse move : une dll pour simplifier l’utilisation de la souris avec Kinect. • Krisk : un jeu vidéo de Risk qui fonctionne avec Kinect sur PC. • SharePoint Explorer : naviguer dans une bibliothèque SharePoint, ouvrir des fichiers, zoomer, se déplacer. • Votre imagination est la seule limite.

  26. Questions ?

  27. Pour aller plus loin • Acheter une Kinect  • Blog officiel : http://blogs.msdn.com/b/kinectforwindows/ • Site officiel : http://kinectforwindows.org/ • Forum officiel : Google  « Kinect forum msdn » • Mon blog : http://tdechanterac.fr • Kinect Toolbox • http://channel9.msdn.com/coding4fun/kinect

More Related