Mô hình hóa màu da (Facial Skin Color Modeling)

1. Mô hình hóa màu da(Facial Skin Color Modeling) Đặng Trần Minh Hậu Lê Ngọc Thành Nghiêm Quốc Minh Nguyễn Thị Ngọc Mai Ngô Đức Thành Vũ Quốc Hoàng

2. Nội dung Giới thiệu Ứng dụng màu sắc trong phát hiện mặt người Đặc điểm màu sắc: Điểm mạnh & Điểm yếu Phát hiện màu da trong các không gian màu Mô Hình Màu Da Mô hình hoá màu da với Skin locus Kết luận Demo

3. Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người • Có thể nhần lẫn đối tượng tương tự màu Ví dụ: Bàn tay, gỗ • Cần những căn cứ khác để phát hiện vùng mặt • Sử dụng như bước tiền xử lý để loại bỏ những đối tượng sai rõ • Yếu tố nào cần quan tâm khi chọn mô hình màu da? • Làm sao để tìm mô hình phù hợp?

4. Đặc điểm màu sắc • Màu sắc có độ phân biệt cao và tính toán nhanh • Những biến đổi hình học thông thường không ảnh hưởng thông tin màu • Màu da khác hẳn so với những thứ xung quanh  Màu sắc được dùng khá phổ biến trong phát hiện mặt người

5. Đặc điểm màu sắc (tt) • Nhạy với biến đổi về độ chiếu sáng (đặc biệt là sắc độ)  Có thể ảnh hưởng xấu cho 1 số mô hình White balancing

6. Yếu tố nào cần quan tâm khi chọn mô hình màu da? • Nhân tố quan trọng cần quan tâm là độ chiếu sáng • Sắc thái da (skin tone): những giá trị màu thể hiện da với chất lượng chấp nhận được với con người. • Khó khăn khi chọn mô hình: với skin tone tương ứng với mô hình, thay đổi màu sắc (illumination)  vùng da trở thành không phải da

7. Những nhân tố ảnh hưởng thể hiện màu da • Khác biệt về độ nhạy của máy ảnh • Sự phản xạ • Tham số cài đặt của camera  Ít ảnh hưởng hơn thay đổi về độ chiếu sáng

8. Nội dung • Giới thiệu • Phát hiện màu da trong các không gian màu • Các nghiên cứu và so sánh • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus • Kết luận • Demo

9. Màu da trong các không gian màu • Không gian màu: Tạo ra bằng cách chuyển đổi từ không gian RGB • Tách thông tin màu: Cường độ (Intensity) và sắc độ (chromaticity)  Không hoàn toàn: Sắc độ phụ thuộc vào giá trị cường độ trong RGB  Sử dụng thông tin sắc độ không cho ta kết quả tốt đối với biến đổi về cường độ

10. Màu da trong các không gian màu (tt) • Thiết kế một không gian mới để giải quyết yêu cầu • Ví dụ: tint/saturation/lightness (TSL), không gian màu đặc biệt dùng trong phát hiện màu da do Terrillon và cộng sự thiết kế

11. Những nghiên cứu và so sánh • Chỉ sử dụng những bộ chú thích sắc độ (chromaticity descriptor) •  Chống lại những ảnh hưởng do thay đổi cường độ • Điều kiện: • Camera tuyến tính • Không gian màu độc lập giữa cường độ và sắc độ

12. Những nghiên cứu và so sánh (tt) • Sắc thái da khác nhau chủ yếu ở giá trị cường độ của chúng • Do độ phản xạ của những nhóm sắc thái da là tương tự nhau

13. Những nghiên cứu và so sánh (tt) • Brand và Mason so sánh 3 phương pháp • Ratio between RGB channel • One-dimensional indicator from IQ components of YIQ space • RGB probability map  RGB probability map có tỉ lệ lỗi sai thấp nhất, phát hiện đúng: 95% với tập huấn luyện

14. Những nghiên cứu và so sánh (tt) • Jones and Rehg: thực nghiệm trong không gian RGB • Mô hình histogram cho kết quả tốt hơn Mô hình Gauss hỗn độn • Zarit: phân lớp dựa tren histogram màu, thực hiện trên 5 không gian màu: CIE Lab, Fleck HS, HSV, normalized RGB, YCrCb • Dựa trên look-up table và lý thuyết quyết định Bayesian • Không gian HS tốt nhất

15. Những nghiên cứu và so sánh (tt) • Một số nghiên cứu của Caetano, Yang và Ahuja cho thấy: không gian normalized RGB có thể phù hợp với nhiều ứng dụng dùng skin tone • Khó đưa ra mô hình tốt nhất vì còn tùy thuộc vào nhiều điều kiện  Tùy vào ứng dụng mà chọn mô hình

16. Nội dung • Giới thiệu • Phát hiện màu da trong các không gian màu • Mô Hình Màu Da • PP Trên Ảnh Đơn • PP Trên Chuỗi Ảnh Tuần Tự • Mô hình hoá màu da với Skin locus • Kết luận • Demo

17. MôHìnhMàuDa • Phươngpháptrênảnhđơn (single image)Đặcđiểm:dựatrênxácsuấtphânbốmàuđiểmảnhhoặcvùnggiớihạncủakhônggianmàuđốitượng. • Phươngpháptrênchuỗiảnhtuầntự (image sequence)Đặcđiểm:theovếtmộtđốitượng, lợidụngtínhchấtnhữngđặctrưngbiếnđổirấtchậmđểtìmvùngda.

18. Phương Pháp Trên Ảnh Đơn (1) • Dựa vào phân bố xác suất (Statistics)Ý tưởng: mỗi đối tượng có tỉ lệ sắc màu (color tone) riêng biệt  cần tính giá trị ngưỡng (threshold).Điểm yếu: giá trị ngưỡng mang tính chất tương đối phụ thuộc vào tập huấn luyện, cách chọn ngưỡng, …Các thuật toán áp dụng: biến đổi Gauss, mạng Nơron, Histogram…

19. Phương Pháp Trên Ảnh Đơn (2) • Dựa vào vùng không gian màu (region in color space)Ý tưởng: da người nằm trong một vùng không gian màu nhất định  cần xác định hình dạng của vùng này.Điểm yếu: định ra đường biên vùng không dễ vì bị ảnh hưởng bởi nhiễu, tập ảnh, độ chiếu sáng,…

20. Phương Pháp Trên Ảnh Đơn (3) • Tinh chỉnh màu cho phương pháp dựa vào vùng không gian màu.Mục đích: giảm ảnh hưởng của sự biến đổi độ sáng và độ phản xạ của bức ảnh.Phương pháp: màu trắng tham khảo (reference white)- Chọn một dãi giá trị màu trắng trong tập giá trị độ sáng gamma không tuyến tính đã được tinh chỉnh (nonlinear gamma-corrected liminance)- Hệ số scale các giá trị trên về 255 làm hệ số tinh chỉnh ảnh.

21. Phương pháp Trên Chuỗi Ảnh Tuần Tự • Mô hình bất biến (fixed model)Xem mỗi bức ảnh là một tập các ảnh rời rạc  giống phương pháp trên. • Mô hình thích ứng (adaptive model)Ý tưởng: Phân bố màu trên một tập các ảnh tuần tự khá giống nhau hay sự thay đổi ít. Tuy nhiên độ chiếu sáng thay đổi rất nhanh.

22. Nội dung • Giới thiệu • Phát hiện màu da trong các không gian màu • Mô Hình Màu Da • Mô hình hoá màu da với Skin locus • Tạo Skin locus • Ứng dụng của skin locus • Kết luận • Demo

23. Môhìnhhoámàudavới Skin locus Ánh sáng thay đổi  màu da thay đổi. Skin Locus là khoảng sắc độ da dưới sự thay đổi của cường độ sáng trong không gian màu NCC. Ưu điểm của Skin Locus: • Chịu được sự thay đổi cường độ sáng. • Chịu được sự thay đổi sắc độ sáng.

24. Tạo Skin locus 2 cách tiếp cận: • Dựa trên quang phổ (Spectral-based). • Dựa trên tập ảnh (Image-Based).

25. Cáchtiếpcậndựatrênquangphổ Cần các thông tin về thông số máy ảnh • khó lấy. • Đưa ra cách tiếp cận dựa trên ảnh.

26. Cáchtiếpcậndựatrêntậpảnh Bước 1: Tạo tập ảnh dưới điều kiện chiếu sáng đã chọn.

27. Cáchtiếpcậndựatrêntậpảnh Bước 2: Trích xuất vùng da (tự động hoặc làm tay).

28. Cáchtiếpcậndựatrêntậpảnh Bước 3: Chuyển từ không gian RGB  NCC. Mô hình hoá bằng hàm thích hợp (đa thức).

29. NCC Normalized Color Coordinate

30. White Balance Quá trình loại bỏ các dải màu không thực (unrealistic color casts)

31. Ứngdụngcủa skin locus: mộtvàivídụ • Các ảnh tĩnh • Video

32. Ảnhtĩnh • Xem skin locus như là bộ lọc • Xác định màu da la mặt

34. Video • Video được tách riêng thành các frame để xử lý • Có thể lấy skin locus dựa trên các frame đầu

38. Kếtluận • Có nhiều phương pháp để phát hiện da mặt. • Phụ thuộc vào nhiều yếu tố: điều kiện chiếu sáng, độ nhạy máy ảnh, cân bằng trắng, định dạng ảnh, không gian màu… • Điều kiện chiếu sáng quan trọng nhất. • Skin locus cho kết quả tốt nhất.

39. Demo

40. Chân thành cảm ơn!