1 / 15

Human computer Interaction: KINECT Sensor

Human computer Interaction: KINECT Sensor. 前言. Kinect for Xbox 360 ，簡稱 Kinect （原始開發代號為「 Project Natal 」，意為誕生計畫），是由 微軟 開發，應用於  Xbox 360  主機的周邊設備。它讓你不需要透過控制器，而是使用語音指令或手勢來操作 Xbox 360 的系統介面。它也能捕捉玩家全身上下的動作，讓你用身體來進行遊戲，帶給玩家「免控制器的遊戲與娛樂體驗」。

nassor
Download Presentation

Human computer Interaction: KINECT Sensor

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Human computer Interaction:KINECT Sensor

  2. 前言 • Kinect for Xbox 360，簡稱Kinect（原始開發代號為「Project Natal」，意為誕生計畫），是由微軟開發，應用於 Xbox 360 主機的周邊設備。它讓你不需要透過控制器，而是使用語音指令或手勢來操作 Xbox 360 的系統介面。它也能捕捉玩家全身上下的動作，讓你用身體來進行遊戲，帶給玩家「免控制器的遊戲與娛樂體驗」。 • 2009 年 6 月 1 日微軟於E3遊戲展中公佈名為Project Natal ( 誕生計畫 ) 的感應器，它能夠捕捉使用者的肢體動作，或是進行臉部辨識。感應器也內建麥克風，可以用來識別語音指令。此感應器相容於所有 Xbox 360 主機，玩家只需新購此感應器就可直接使用。 • 2010 年的 E3 電玩展，微軟宣佈Project Natal的正式名稱為Kinect

  3. KINECT技術原理(一) • 三個主要擷取功能 • 彩色影像 • 3D深度影像 • 聲音訊號 Kinect中間的鏡頭是攝影機、左右兩顆鏡頭則是3D深度感應器；同時具有追焦功能，底座馬達可左右旋轉28度。此外還有陣列式麥克風。（圖片來源：Games Blog）

  4. KINECT技術原理(二) Kinect的架構圖（引用PrimeSense解說圖）。（圖片來源：PrimeSense）

  5. KINECT技術原理 (三) Kinect可同時獲取彩色影像、3D深度影像、以及聲音訊號（引用PrimeSense解說圖）。（圖片來源：PrimeSense）

  6. KINECT技術原理(四) • PrimeSense <Light Coding> • 利用連續光（近紅外線）對測量空間進行編碼，經感應器讀取編碼的光線，交由晶片運算進行解碼後，產生成一張具有深度的圖像。 • 以紅外線發出人眼看不見的class 1雷射光 • 透過鏡頭前的diffuser（光柵、擴散片）將雷射光均勻分佈投射在測量空間中 • 再透過紅外線攝影機記錄下空間中的每個散斑，擷取原始資料後，再透過晶片計算成具有3D深度的圖像。 • 它能在各種室內照明條件下工作（包括一片漆黑和非常明亮的房間） • 影片展示

  7. KINECT技術原理(五) Light Coding是以發射紅外線產生散斑，透過感應器紀錄訊號後，交由晶片運算出深度圖像。（圖片來源：PrimeSense）

  8. KINECT技術原理(六) • 骨架追蹤 • 透過Light Coding技術所獲得的只是基本的影像資料，重點還是要辨識影像，轉換為動作指令 • 同時辨識6人，包含2人的動作追蹤 • 每人能追蹤20個點 • 能讓Xbox LIVE Avatars虛擬人物與使用者動作同步

  9. KINECT技術原理(七) • Human Motion-Capture for Xbox Kinect

  10. KINECT技術原理(八) •  What the team did next was to train a type of classifier called a decision forest, i.e. a collection of decision trees. • Each tree was trained on a set of features on depth images that were pre-labeled with the target body parts. That is, the decision trees were modified until they gave the correct classification for a particular body part across the test set of images. • Training just three trees using 1 million test images took about a day using a 1000-core cluster.

  11. KINECT技術原理(九) • More information: • Pre-print (Pdf) of the paper • All about Kinect- an in depth exploration of its technology and a showcase of its uses • Getting Started with PC Kinect • Using the Kinect gets much easier • http://www.openni.org/ • http://www.primesense.com/

  12. KINECT技術原理(十) • Passive vision: stereo camera • Active vision: kinect sensor

  13. KINECT應用展示 • Kinect for Windows 創意應用競賽 決賽得獎作品 • Kinect Controls Windows 7 • Kinect as a Nintendo controller on the PC • Avatar Kinect • Shadow Puppet • Quadrotor Autonomous Flight and Obstacle Avoidance with Kinect Sensor • OpenKinect- Keyboard Anywhere • RGBDemo v0.3 experimental scene reconstruction with Kinect • Transform yourself to Ultra Seven by Kinect • 12 Best Kinect Hacks

  14. Human Computer Interactive, 991 CS.NCCU 2011 KINECT應用領域 • HCI • Augmented Reality • Automatic Navigation • Body Control

  15. 開發教學 • 01. Kinect SDK 介紹與開發環境安裝 • Kinect for Windows 應用程式開發

More Related