Human Body Modelling by Development of the Automatic Landmarking Algorithm

1. Human Body Modelling by Development of the Automatic Landmarking Algorithm Ing. Tomáš Kohlschütter

2. Úvod • Metodika pro automatický sběr a vyhodnocení antropometrických údajů • Nahrazení ruční metody počítačovým algoritmem • Požadavky: přenosné, levné, rychlé • Nutnost měřit běžně oblečené osoby • Co nejblíže se přiblížit standardům pro měření lidí • Využití • Oděvní průmysl, sport, lékařství, zabezpečovací systémy …

3. Technické možnosti • Ruční (např. metrem) • Zdlouhavé • Chyba závisí na člověku, který měření provádí • 2D systémy • 1 či více kamer => vytvoření přibližného modelu • Algoritmy pro počítačové vidění/zpracování obrazu • Levné, rychlé, ale ne 100% přesné • 3D scannery • Světelný nebo laserový paprsek snímá celou osobu • Vytvoření modelu 1:1 • Velmi přesné, ale rozměrné a finančně náročné

4. Stateofthe Art - 2D systémy • cca 12 článků • Meunier, P., Yin, S. (2000). Performance of a 2D image-based anthropometric measurement and clothing sizing system. Applied Ergonomics, 31, pp. 445-451. • Základ výzkumu 2D antropometrických systémů • Jde to vůbec? Pokud ano, tak s jakou přesností? • Experiment 349 svlečených subjektů (95 žen a 254 mužů) • 6 rozměrů (výška, délka rukávu, obvod krku, hrudníku, pasu a boků) • Výsledek: 2D systémy se dají srovnávat s ručními metodami, ale kvalita závisí na značkovacím algoritmu a modelování nepřímých (=obvodových) částí těla • Neuvádí, které konkrétní algoritmy jsou použity • Drahé zařízení

5. Stateofthe Art - 2D systémy • Hung, P. C.-Y., Witana, C. P., Goonetilleke, R. S. (2004). Anthropometric Measurements from Photographic Images. Computing Systems, 29, pp. 764-769. • Modelování obvodových částí těla • Elipsa (např. krk), půl elipsa+obdélník (hrudník)

6. Lokalizace částí těla • Co nejpřesnější nalezení bodů, ze kterých se dá identifikovat příslušná část lidského těla • Velmi ovlivňuje kvalitu finálních výsledků • Většina současných prací • Nalezení mnoha (6 – 38) význačných bodů • Ručně nebo polo-automaticky (= z ručně zvolených bodů se určí jiné) • Pracné, náchylné k chybám

7. Stateofthe Art - Automatická lokalizace částí těla • Hilton, A., Beresford, D., Gentils, T., Smith, R., Sun, W., Illingworth, J. (2000). Whole-body modelling of people from multiview images to populate virtual worlds. The Visual Computer, 16(7), pp. 411–436. • Technika pro automatické vytvoření pohybujících se 3D modelů lidí • Algoritmus pro automatické nalezení 10 bodů na kontuře lidského těla • Cílem je přiřadit tyto bodyk umělému modelu • Problém – nalezené body neodpovídají standardům pro měření lidí

8. Stateofthe Art - Automatická lokalizace částí těla • Lin, Y. L., Wang, M. J. (2011). Automated body feature extraction from 2D images. Expert Systems with Applications, 38, pp. 2585–2591. • Reprezentace kontury pomocí Freemanova kódu • Význačné body automaticky identifikovány tam, kde se významně mění směr kontury • Testováno 30 svlečených subjektů - 100% úspěšnost lokalizace • Otázky: • Bude algoritmus fungovat i na oblečené subjekty? • Odpovídají nalezené části standardům měření?

9. Popis navrženého systému - kamery • 1 či více kamer snímá měřený subjekt z několika pohledů • 1 kamera + otočení subjektu (levnější, přenositelnější) • Vhodná volba kamery • Digitální fotoaparát (offline) • Webkamera + negativní čočka (online) • Kalibrace kamer • Převedení obrazových rozměrů na rozměry reálného světa • Odstranění zkreslení kamery/objektivu • Oprava špatného umístění kamery • Knihovna Tsai 3D

10. Popis systému - kamery • Kalibrační body • Předem známý počet a přesné umístění (v mm) • 9 bodů na pozadí • 5 na podlaze • Červené body => snadná automatická detekce • Přesná pozice umístění měřeného subjektu • Vyfocení ze dvou pohledů • Vytvoření 3D modelu lidského těla

11. Zpracování obrazu • Nalezení měřeného subjektu v obraze • Chroma key • Zelené pozadí • Barevný prostor HSV • Prahová hodnota • Oddělení popředí od pozadí

12. Zpracování obrazu • Nalezení kontury lidského těla • Algoritmy pro zpracování obrazu • Implementace: C++ knihovna OpenCV • Aproximace kontury polygonem • Odstranění menších nerovností • Vyhlazení

13. Automatická lokalizace částí těla • Návrh a implementace nového plně-automatického algoritmu • Měření oblečených subjektů • Dodržování standardů + konzultace se zkušeným antropometristou

14. Automatická lokalizace částí těla • Algoritmus vychází z Hilton et al. (2000) • Nalezení globálních extrémů na kontuře • Vrchol hlavy, ruce a nohy • Nalezení lokálních extrémů • Podpaží, rozkrok • Rozdělení výšky člověka na 100 stejných dílů • Kollmann‘sdecimalcannon • Určení výpočtu obvodů - elipsa

15. Automatická lokalizace částí těla • Stanovení, mezi kterými díly se příslušná část nachází • Současně: odhad z malého množství vzorků • Plán: statistika z velkého množství vzorků • Stanovení definic hledaných částí • ASTM 2009 - Standard terminology relating to body dimensions for apparel sizing. • Nejasnosti – konzultace se zkušeným antropometristou

16. Experimenty - implementace • Testovací aplikace v C++ • Knihovna OpenCV pro zpracování obrazu • Detekce kontury, kružnic, převody barevných prostorů atd. • Rozlišení obrazu • 1280x960 – experimentálně optimální rozlišení • Kalibrace na 14 kalibračních bodech: • Knihovna Tsai3D • Maximální kalibrační chyba vX = 16 mm • Maximální kalibrační chyba vY = 4 mm • Průměrná chyba vX = 5mm • Průměrná chyba vY = 2 mm • Víc bodů (např. 100) nemá smysl, přesnost zvýší o milimetry

17. Experimenty • 11 vhodně oblečených subjektů (9 mužů a 2 ženy) • 4 muži testováni opakovaně v různém oblečení

18. Experimenty • Detekce krku, hrudníku, pasu a boků úspěšná • Ověření zkušeným antropometristou (krejčí) • Problémy: • Zelené oblečení • Účes • Větší výška • Dlouhé vlasy mohou zvětšovat obvod krku či hrudníku • Modelování hrudníku je nepřesné, zejména u žen • Nemá zásadní vliv na detekci, ale na získané rozměry • Velmi volné oblečení • Chybné postavení (náklon vpřed)

19. Plány do budoucna • Detekce ostatních částí • Délka rukávu, délka zad, výška sedu • Zlepšit modelování hrudníku • Experimenty na větším množství subjektů • Statistika rozložení jednotlivých částí těla • Hlavní cíl: • Automatické měření a lokalizace bodů na osobách ve volnějším oblečení • Využití statistiky, aproximace tvaru těla

20. Děkuji za pozornost.