1 / 34

即時人臉辨識系統

即時人臉辨識系統. 組員： 19733111 劉佳旻 19733113 林香吟 19733126 陳佩珊 19733139 蘇志偉. 一、研究動機 二、文獻探討 三、系統設計 四、系統結果 五、結論與未來展望 六、參考文獻. 大綱. 一、研究動機. 在一般的人臉辨識演算法中，皆用到很多複雜的原理和演算法，且訓練和辨識時間皆很耗時，無法達到快速又準確，因此本專題嘗試設計一簡單而快速之方法進行即時人臉辨識. 二、文獻探討 - 色彩空間轉換. (1) HSV 色彩空間模型.

reegan
Download Presentation

即時人臉辨識系統

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 即時人臉辨識系統 組員： 19733111 劉佳旻 19733113 林香吟 19733126 陳佩珊 19733139 蘇志偉

  2. 一、研究動機 二、文獻探討 三、系統設計 四、系統結果 五、結論與未來展望 六、參考文獻 大綱

  3. 一、研究動機 在一般的人臉辨識演算法中，皆用到很多複雜的原理和演算法，且訓練和辨識時間皆很耗時，無法達到快速又準確，因此本專題嘗試設計一簡單而快速之方法進行即時人臉辨識

  4. 二、文獻探討-色彩空間轉換 (1)HSV色彩空間模型 一張影像的資訊多為RGB(紅、綠、藍)三原色所構成，但RGB色彩空間容易受光源強弱而有顯著的變化，陳彥劭(2008)的研究指出HSV色彩的展現比起RGB色彩更為接近人類視覺對色彩之感受，HSV色彩空間包含色調(Hue)、飽和度(Saturation)和明暗度(Value)，其轉換公式如下：

  5. 文獻探討-投影定位 (2) 水平及垂直投影圖 楊煒達(2007)研究中提到，雙眼區塊主要的目標是要將區塊上邊界降至眉毛上緣，眉毛附近會出現大量的邊緣特徵，將雙眼區塊作水平投影，眉毛的位置會出現一個水平投影的峰值 嘴巴區塊是要將區塊四個邊界縮減的更接近嘴唇，在邊緣偵測後，以水平投影重新定位上、下邊界，以垂直投影重新定位左、右邊界，如圖(2)所示：

  6. 12d 12d (2d,2.5d) (6.5d,2.5d) (2d,2.5d) (6.5d,2.5d) (3.5d,8d) (3.5d,8d) 3.5d 3.5d 5d 5d 文獻探討-臉部五官定位 (3) 依比例算出可能五官位置 五官在人臉的位置都有一定相對應的幾何關係，在取得人臉區塊後，可以依比例關係來完成五官初步的定位 臉部區塊偵測之後，將臉的寬度分成12等份，每等份為d個像素，若以臉部區塊左上角為原點，眼睛區塊由上至下分布在2.5d~6d的位置，左眼和右眼分別由左而右分布在2d~5.5d及6.5d~10d，大小均為3.5d 3.5d且左右對稱，嘴巴則是由上至下8d~11.5d，由左至右3.5d~8.5d的位置

  7. 文獻探討-辨識方法 (4) 人臉座標解說圖例 陳榮昌、盧菁、劉賀平(2008)的研究指出人臉的外形輪廓可以近似於一個八邊形，首先在影像中取一個最大的八邊形，使其充滿整個影像，並確保人臉存於這個八邊形之內，再將此八邊形進行收縮，直到偵測到皮膚為止，這樣便可從外圍得到人臉的輪廓 然後在影像中確定一個一定小的八邊形，使人臉必定包含此八邊形，再將此八邊形慢慢擴大，直到偵測到非皮膚為止，因此可以從內部得到八邊形的輪廓。如果八邊形的差異小於一個門檻值β，那麼就可以將此八邊形記為人臉輪廓

  8. A B d 文獻探討-影像旋轉校正 其中，turning_rate為旋轉率，d是距離，box_width是臉部邊界寬度 (5) 臉部特徵與中心線圖 B.Yegnanarayana等人(2004)的研究發現中，利用人臉影像的投影圖來判斷人臉旋轉方向，以藉此找出連續影像中最接近正面的人臉影像 利用人臉影像的投影圖來判斷人臉旋轉角度，而我們利用臉部特徵集中線A與臉部方框的中心線B，相減求出距離d，再把距離與臉部邊界寬度相除，求出旋轉率，最後利用門檻值過濾轉動過大的影像，公式如下所示： 轉動公式

  9. y θ X 傾斜前 傾斜後 文獻探討-影像傾斜校正 (6)影像傾斜示意圖 劉翁昌(2009)的研究指出，影像傾斜為一種基本的影像調整方法，用以修正各個影像中不同角度的差異，假設影像中一個像素點位於(x, y)座標點，在經過θ度傾斜後，像素點位移至新的座標點(x’, y’)，兩個座標點之間的映射關係如以下公式所示：

  10. 三、系統設計-系統流程圖 特徵值抽取 影像處理 即時人臉辨識系統 資料庫建置 顯示辨識結果 人臉資料庫 比對 人臉比對 CCD擷取影像 影像處理

  11. 系統設計-鏡像 為了讓使用者觀看螢幕時的方向能與使用者站立位置同方向，故先將輸入之影像做鏡像處理 M(x, y) = I(width – x, y) , 0 ≦x≦width (7) 原始影像(8) 鏡像影像 其中M為鏡像影像，則M(x, y)為鏡像影像中之任一點，I為原始影像，I(x, y)為原始影像中之任一點 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  12. 系統設計-膚色偵測 臉部膚色區塊會比其他環境膚色區塊面積較大，用此特徵搜尋鏡頭有無人臉接近 S (9) 原始影像 (10) 膚色偵測 其中，SHSV包含色調(Hue)、飽和度(Saturation)和明暗度(Value)，當H為5到60度、S及V為0到255即判斷為膚色區塊 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  13. 系統設計-人臉偵測 　當動態攝影機偵測到有物體靠近時，經膚色偵測判斷後，將膚色之區塊作面積計算，膚色面積較大的範圍做取樣，接著判斷膚色範圍內是否為人臉 步驟歸納如下： 1.偵測是否有物體接近動態攝影機 2.判斷物體影像是否為膚色區塊 3.將膚色之區塊作面積計算，膚色 面積較大的範圍做取樣 4.判斷膚色範圍內是否為人臉 5.偵測之人臉保持在畫面中央 (11) 原始影像 (12)區塊擷取 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  14. 系統設計-旋轉/傾斜校正1/2 人臉在影像中都可能呈現任何角度與方向，由於人臉方向的不同、臉部角度的偏移，都會影響到人臉辨識的結果，因此需要做旋轉及傾斜的校正 • 旋轉校正 利用人臉影像投影圖判斷人臉特徵資訊，透過動態攝影機以及鏡像技術，讓使用者調整人臉角度旋轉與方向 (13) 校正前(14) 校正後 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  15. R1 eC eR 2*ew C(x,y) M eL 系統設計-旋轉/傾斜校正2/2 • 傾斜校正 以雙眼與嘴巴座標為依據，從雙眼中點與嘴巴連線，取得人臉旋轉中心點，由此中心點向外取2倍人眼寬度距離，得到框選校正結果，利用雙眼座標取得斜率，由斜率可以得知傾斜角度與方向，進行傾斜校正 (15)校正前(16) 校正後 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  16. 系統設計-人臉擷取 人臉擷取的主要目的，是從複雜背景的影像環境中找出可能的人臉區域 (17) 原始影像(18) 人臉擷取 其中，H為判斷膚色的區域，範圍0到60度，S及V範圍為0到255，p代表像素 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  17. 系統設計-二值化 　為了能夠更精確的定位出五官位置，我們使用了二值化的技術，設定門檻值然後去檢視圖上的每一個像素 (19)膚色擷取 (20)二值化結果 其中，p為像素之顏色，TH為門檻值 膚色偵測 鏡像 人臉擷取 二值化 旋轉/傾斜校正 人臉偵測

  18. 投影定位 特徵值擷取 眼睛及嘴巴擷取 臉型比對 5 7 9 系統設計-投影定位 　　本系統利用水平投影部分於五官之追蹤，取5~7之間的區域內之峰值作為眼睛部分之判斷，取7~9之間的區域內之峰值作為嘴巴部分之判斷 以上過程歸納為如下步驟： 1.將人臉圖片做水平垂直投影 2.人臉圖片垂直水平各10等份分割 3.找尋分割後最適區塊 4.在最適區塊內找出投影值峰谷 進行定位 (21)投影圖

  19. 投影定位 特徵值擷取 眼睛及嘴巴擷取 臉型比對 系統設計-眼睛及嘴巴擷取 透過水平及垂直投影處理之結果，可藉由谷值與峰值判斷眼睛及嘴巴所在區域 步驟歸納如下： 1.定位出眼睛及嘴巴的位置 2.將定位之眼睛及嘴巴擷取出，便於特徵值之擷取 (23) 分割擷取圖 (22) 眼睛及嘴巴定位圖 圖(23)為圖(22)定位後擷取出之眼睛及嘴巴

  20. B C A D H E 投影定位 特徵值擷取 眼睛及嘴巴擷取 臉型比對 G F 系統設計-臉型特徵值擷取1/2 臉部八邊形如圖(24)所示，本系統擷取了臉部六個數據如圖(25)所示 P M Q N O R (24) 傳統八邊形 (25) 臉型輪廓特徵

  21. 投影定位 特徵值擷取 眼睛及嘴巴擷取 臉型比對 系統設計-臉型特徵值擷取2/2 　　如圖(26)、(27)所示，各特徵點之線段分別為雙眼中心距離、嘴角的距離、左眼中心至左嘴角距離、右眼中心至右嘴角距離和八邊形之水平垂直長度以及斜邊長度 A B C D G H L K E F I J (27) (26) 圖(26)、圖(27)為五官上各特徵點相對距離之線段

  22. 投影定位 特徵值擷取 眼睛及嘴巴擷取 臉型比對 系統設計-臉型比對 　　根據前面所敘述的各項技術，正確的找出比對時所需要之數據，進而從資料庫 比對出臉型 (28)原始資料圖檔(29)即時比對之影像 　　其中DataFeature[i]為資料庫裡之數據，RunFeature[i]為要被比對之數掾，Delta[i]為一差值，sum為符合條件之個數

  23. 四、系統結果-操作介面

  24. 系統結果-操作介面

  25. 系統結果-操作介面

  26. 系統結果-操作介面

  27. 系統結果-執行介面 成功

  28. 系統結果-執行介面 成功

  29. 系統結果-執行介面 失敗

  30. 系統結果-執行介面 失敗

  31. 五、結論 • 本專題嘗試以簡單快速的方法達到有效的辨識效果 • 運用動態攝影機即時擷取影像，並加以校正人臉旋轉與傾斜之問題，也使用了鏡像技術，方便使用者調整人臉之角度與方向 • 在臉部區域中使用改進後之八邊形技術，將人臉的外型輪廓納入特徵點判斷，以增加辨識率

  32. 未來展望 • 提高辨識準確性 • 將人臉辨識系統建置於行動裝置

  33. 六、參考文獻 陳彥劭(2008)。即時人臉辨識系統之研製。南台科技大學電機工程研究所碩士學位論文 楊煒達(2007)。簡易方法之少量人臉辨識系統。國立中央大學資訊工程研究所碩士論文 S.Ullman(2003)。DSP-Based之即時人臉辨識系統。國立中山大學電機工程學系碩士論文 陳榮昌 盧菁 劉賀平(2008)。基於人臉座標系統的人臉識別。朝陽科技大學資訊管理系(陳榮昌)。北京科技大學信息學院(盧菁 劉賀平) B.Yegnanarayana(2004)。測定使用動態影像的人臉姿勢角度。國立中央大學資訊工程研究所碩士論文 劉翁昌(2009)。複雜環境下之人臉偵測與辨識系統。國立台灣科技大學電子工程系

  34. The End ~

More Related