120 likes | 567 Views
使用 ARToolKit 搭配 MMD 模型與動畫. 600410027 劉書承. 前言. 使用 ARToolKit 建置一個擴增實境 (AR) 的環境相當快速方便,因此在一般玩家中是相當風行的工具。 這次的 Project 就利用該工具建置 AR 的環境,搭配一個 pmd 格式模型 並繪製 用 MMD 編輯的 vmd 格式骨架動畫 ,作為這次 Project 的展示結果。 接下來會說明實作項目,並介紹上述所提到的工具。. 實作項目. 用 ARToolKit 建置程式 用 MMD 編輯一段數秒的骨架動畫 在程式中使用找到的程式碼並微調後,載入模型與動畫資料
E N D
使用ARToolKit搭配MMD模型與動畫 600410027劉書承
前言 使用ARToolKit建置一個擴增實境(AR)的環境相當快速方便,因此在一般玩家中是相當風行的工具。 這次的Project就利用該工具建置AR的環境,搭配一個pmd格式模型並繪製用MMD編輯的vmd格式骨架動畫,作為這次Project的展示結果。 接下來會說明實作項目,並介紹上述所提到的工具。
實作項目 • 用ARToolKit建置程式 • 用MMD編輯一段數秒的骨架動畫 • 在程式中使用找到的程式碼並微調後,載入模型與動畫資料 • 在程式中使用找到的程式碼並微調後,處理物理演算的部分 • 用OpenGL繪出模型與動畫 • 設置簡易的lighting
什麼是ARToolKit? 它是一個利用marker定位來達成擴增實境(AR)的程式庫,適合用C/C++語言開發。 使用攝影機拍攝現實場景 將marker置於畫面可見處,ARToolKit能幫助你偵測marker、計算modelview及projection轉換矩陣 將模型繪製在3D座標中的原點上,搭配ARToolKit給予的轉換矩陣,就能將模型顯示在marker上
關於Marker ARToolKit的marker須符合以下特性: • 正方形黑色粗框 • 內圖愈簡單愈好 • 內圖不可上下左右對稱、翻轉等價 比如:
ARToolKit演算法概觀 官網[1]中沒細講演算法,只有大致流程,如下: • a. 二值化(Binarization) • b. 標籤化(Labeling) • c. 邊緣偵測(Contour Detection) • d. 幾何變換(Geometric Transformations) • e. 特徵匹配(Feature Matching) Original Image ? e. a. b. c. d.
什麼是MMD? • 它是一套由日本人開發的工具,用來編輯PMD格式模型的骨架動畫,近年在日本網路圈中相當流行。 • 支援物理演算(使用Bullet Physics Library) PMD模型的物理資料(紅:剛體, 綠:碰撞測試盒) MMD載入這次使用的模型與動畫後的畫面
用MMD編輯骨架動畫 • 模型中有許多node位於關節處,可操作骨架位置。 • 隨時間給骨架設不同的位置,即為骨架動畫。
遇到的困難與缺點 • 試過開啟反鋸齒(Anti-Aliasing)但有問題,目前還不清楚如何正確開啟,因此繪製的模型邊緣會有鋸齒。 • 物理演算的結果比MMD展現的結果差,但時間上不夠去了解Bullet的用法及細節,很難進行修正。 • 原本想做出「影子」的效果,這樣模型看起來會更真實。但找過資料後發現方法有點複雜,最後還是來不及做出來,有點可惜。
影片展示 請開啟 demo_600410027.mp4 觀看影片 (該影片檔已與投影片放在一起) 已測試過能用Windows Media Player播放 若無法觀看,影片也已上傳至youtube,請連結以下網址 http://www.youtube.com/watch?v=CkmoquFLWJE
Reference [1] ARToolKit(英文)http://www.hitl.washington.edu/artoolkit/ [2] MMD(日文)http://www.geocities.jp/higuchuu4/ [3] 使用的模型(日文)http://loda.jp/mikumikudance/?id=250 [4] pmd、vmd格式(日文)http://meshio.sourceforge.jp/ [5]pmdloader參考(日文) http://yun.cup.com/directx11018.html [6] vmd loader參考(英文)http://www.ks.uiuc.edu/Research/vmd/plugins/doxygen/molfileplugins.html