1 / 24

Personal Rehabilitation Exercise Assistant with Kinect and Dynamic Time Warping

Personal Rehabilitation Exercise Assistant with Kinect and Dynamic Time Warping. Chuan-Jun Su. International Journal of Information and Education Technology, Vol. 3, No. 4, August 2013. 研究背景. 復健醫學 傳統的復健 治療 以家庭為背景的復健 治療 提出使用 Dynamic Time Warping 演算法及 fuzzy Logic 完成透過 Kinect 以家庭為背景的復健治療方法.

quant
Download Presentation

Personal Rehabilitation Exercise Assistant with Kinect and Dynamic Time Warping

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Personal Rehabilitation Exercise Assistant with Kinect and Dynamic Time Warping Chuan-Jun Su International Journal of Information and Education Technology, Vol. 3, No. 4, August 2013

  2. 研究背景 • 復健醫學 • 傳統的復健治療 • 以家庭為背景的復健治療 • 提出使用Dynamic TimeWarping演算法及fuzzy Logic 完成透過Kinect以家庭為背景的復健治療方法

  3. 相關研究

  4. Kinect • Kinect簡介 3D 深度影像 (透過左右兩顆鏡頭) 彩色影像 (透過中間那顆 RGB 鏡頭) 聲音 (透過陣列式麥克風) 馬達

  5. DTW(Dynamic Time Warping)動態時間校正演算法 • 歐氏距離可以簡單的比較兩個序列，但是每個病患完成同樣動作的時間會有所不同。 • 因此透過需要不具有上述歐氏距離的方法，來確認患者與標準動作的正確性，這邊使用到DTW演算法來完成。

  6. DTW(Dynamic Time Warping)動態時間校正演算法(續)  • 定義:用來測量時間或速度可能會有所不同的兩個序列彼此間的相似性。 • 最初是用來進行語音識別的技術，後來應用到許多領域。

  7. 模糊邏輯 • 當醫生在復健治療評估動作正確性時往往是根據自己的經驗，不能設定一個標準值。 • 與傳統邏輯差別在於，傳統二元邏輯不是真就是假，模糊邏輯則可能有一個值，並取其在某範圍之間 • 因此希望透過收集醫師的經驗以及DTW演算法的數據幫助建立模糊推理的算法

  8. 研究方法

  9. 以家庭為基礎的復健治療 • 近年來已演變為一個可行的替代住院復健方式，其目的為提供一種在家庭復健治療的服務 • 肌肉力量和耐力訓練 • 治療性訓練 • 平衡訓練 • 行走訓練 • 物理治療 • 復健醫學

  10. 系統架構圖 為使用者提供透過Kinect在家進行復健治療的功能 使用資料庫、使用者資料

  11. 以Kinect為基礎的復健管理模組 • 包含了幾個功能，(1)擷取使用者的動作(2)重播使用者在家進行的情形(3)復健治療評估功能 • (1)擷取使用者的動作 • 透過Kinect擷取並記錄儲存擷取到的骨架三維座標資訊

  12. 以Kinect為基礎的復健管理模組 • (2)重複播放功能 • 允許使用者播放在醫院的復健醫療影片 • 記錄使用者在家進行復健治療的影片 • 供之後進行復健治療的評估

  13. 以Kinect為基礎的復健管理模組 • (3)復健治療評估

  14. DTW(Dynamic Time Warping)動態時間校正演算法 • 有二個向量X和Y，其長度分別為m和n，DTW的目的就是希望找出一條路徑P經過p1,p2,p3….pk，其中pk的形式為(xi,yj)，i表示向量X中第i個點，j表示Y中第j個點。 • 端點關係:DTW計算須滿足起始點是p1=(x1,y1)及終點是pK=(xm,yn) • 局部關係:DTW計算滿足當pk=(xi,yj), 其鄰近點需為pk+1=(xi’,yi’) , i<=i’<=i+1 ,j<=j’<=j+1

  15. DTW(續) • Dist(P)= • Dist(pki,pkj)為任一可計算二點距離的方式， Dist(P)為DTW演算法計算結果。 • Dist(P)越低，代表其相似程度越高

  16. DTW(續) • 進行DTW計算時通常會先建立一個矩陣D，其維度為m*n，接著根據端點關係的條件來填入D(1,1)，然後再根據遞迴的方式，逐行或逐列算出D(i,j)。 • 因此在實際計算時，通常會使用遞回的方法進行運算，如下表示: D( i , j )=Dist( i, j )+min[D( i-1 , j ), D( i , j-1 ), D( i-1 , j-1 )]

  17. 假設A,B兩向量如下表:

  18. 首先我們會算出A及B向量中，任二點彼此間所花費的距離成本首先我們會算出A及B向量中，任二點彼此間所花費的距離成本 a1=(2,3),b1=(6,4) 1 3.61 1.414 2.24 2.24 1 4.24 1 3.61 1 5.83 距離成本

  19. DTW結果 D( i , j )=Dist( i, j )+min[D( i-1 , j ), D( i , j-1 ), D( i-1 , j-1 )] C12= (a2, b1)+ C 11 C13 =(a3, b1)+C12 C14= (a4, b1)+ C13 C 11=(a1, b1) C22= (a2, b2)+ Min(C11,C21,C12) C23= (a3, b2)+ Min(C12,C13,C22) C21= (a4, b2)+ Min(C13,C14,C23) C21= (a1, b2)+C11 C32= (a2, b3)+ Min(C21,C22,C31) C33= (a3, b3)+ Min(C32,C22,C23) C34= (a4, b3)+ Min(C23,C33,C21) C31= (a1, b3)+C21

  20. 左手關節點座標

  21. DTW結果

  22. 模糊推理的設計 • 通常醫師在進行治療時通常根據經驗來判斷，以”你的手臂位置太高”，”你移動得太快”等字詞來表示 • 輸出入定義 輸入軌跡:相似、不相似 輸入速度:速度太快、恰到好處、太慢 輸出評價:優秀、良好、不好 模糊規則: 規跡相似和速度恰到好處->評價是優秀 規跡相似或速度太慢->評價是良好 規跡不相似或速度太快->評價是不好

  23. 資料儲存庫模組 • 用來儲存復健治療資料以及用戶資訊 • 活動資料:儲存所有復健的活動紀錄，醫師可為他們的復健活動進行修改 • 使用者資料:儲存使用者的姓名、性別、身高體重等等以及在家進行治療的紀錄

  24. 結論 • 在家進行復健治療能加快恢復 • KRHD可以幫助病人準確的復健治療 • 可以解決不便前往診所定期治療的問題

More Related