Aplikace počítačového vidění

1. Aplikace počítačového vidění Ing. Ilona Kalová, Ph.D. ÚAMT FEKT VUT v Brně Kolejní 2906/4 61200 Brno CZ tel:        +420 54114 3647 fax:       +420 54114 1123 E-mail: kalova@feec.vutbr.cz http://www.uamt.feec.vutbr.cz/lide/kalova

2. Organizace výuky • Přednášky Po 13:00 E340 – nepovinné • Přednášející: • Ing. Ilona Kalová, Ph.D.kalova@feec.vutbr.cz • Ing. Horák Karel, Ph.D.horakk@feec.vutbr.cz • Ing. Richter Miloslav, Ph.D.richter@feec.vutbr.cz • Ing. Petyovský Petrpetyovsk@feec.vutbr.cz • Ing. Honec Petr , Ph.D. honecp@feec.vutbr.cz • Cvičení Čt 9:00, 12:00, 14:00 E617 – nepovinné • Cvičící: Ilona Kalová • Body: • 16b cvičení - 8 úloh po 2b • 24b semestrální projekt • Podmínka zápočtu - min 15b celkem ze cvičení a projektu, odevzdání projektu • 60b zkouška • Informace: • Q:\VYUKA\KALOVA\MAPV • Ilona Kalová – e-mail: kalova@feec.vutbr.cz, tel: 54114 3647, kancelář E619

3. Přednášky • Nasazení počítačového vidění v technické praxi - úvod, motivace, výhody a nevýhody, metodika vývoje zakázky • Specifika hardwaru pro pořízení a zpracování obrazu • Základní fyzikální principy využitelné v počítačovém vidění • Úlohy měření v rovině – přesná měření rozměrů , polohy, orientace • Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze, klasifikace podle tvaru (obrysu), barvy, povrchových vlastností atd. • Defektoskopie, inspekční systémy – detekce povrchových vad výrobků, inspekce transparentních materiálů atd. • OCR – SPZ, čtení kódů, převod tištěné knihy do elektronické • Měření 3D rozměrů, měření objemu, 3D digitální modely, navigace v prostoru, polohování robotů • Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování trajektorie, trojrozměrné vlastnosti objektů • Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na červenou, detekce krizových stavů • Analýza biologických obrazů, měření biometrických údajů • Další aplikace - bezkontaktní měření teploty (termokamery), měření deformací (interferometre), analýza snímků hvězdné oblohy, počítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realita

4. Definice počítačového vidění Systémy počítačového vidění … systémy strojového vnímání … systémy pro zpracování obrazu … kamerové systémy … vizuální systémy • Disciplína, která se snaží technickými prostředky alespoň částečně napodobit lidské vidění – kvalitu lidského senzoru (oka) a kvalitu analýzy obrazu (inteligence, znalosti, zkušenosti) • Obor, který pomocí technických prostředků usiluje o získání smysluplného popisu objektů vyskytujících se v obraze

5. Umělá inteligence Teorie řízení Zpracování signálů Biologie, neurofyziologie Matematika – statistika, geometrie Fyzika – optika … Příbuzné obory

6. Proč je vidění těžké ? • Ztráta informace díky perspektivní projekci, 3D => 2D • Měřená jednotka = nejčastěji jas Jas bodu závisí na: • poloze kamery • poloze a typu světelného zdroje • odrazivosti povrchu, barvě • orientaci (natočení) povrchu • … • Množství dat Příklad: statický obraz 512 x 512 bodů, 1 bod = 1B (256 jas. úrovní) => 256kB stejný barevný obraz, 1 bod = 3B => 768kB stejný barevný obraz při 25 snímcích za sekundu (TV signál) => 18,75MB/s • Nejistota – přítomnost šumu, zkreslení

7. Výhody • Přesnost • Spolehlivost, měření s konstantními parametry, neunavitelnost, nezkorumpovatelnost • Rychlost • Paralelně může probíhat více kontrolních úloh, třeba měření rozměrů a zároveň kontrola barvy • Umožňují kontrolu prakticky jakéhokoliv parametru, který má optickou vazbu na vzhled nebo charakter snímané scény • Měření je bezkontaktní, nedestruktivní • Velké množství informací v podobě, která je pro člověka nejlépe srozumitelná - vizuální cestou člověk přijímá téměř 90 % informací • Nastavení systému je rychlé a nevyžaduje složité mechanické konstrukce • Možnost změnou konfigurace softwaru prakticky okamžitě přepínat mezi podobnými typy měření – není nutné složitě a nákladně měnit hardwarovou konfiguraci • Cena - vyšší počáteční náklady jsou kompenzovány nižšími náklady provozními a úsporami času i materiálu ve výrobě

8. Metodika vývoje zakázky • Myšlenka aplikace kamerového systému (ze strany zákazníka) • Kontaktování firmy zabývající se počítačovým viděním nebo systémového integrátora • Hrubé posouzení realizovatelnosti projektu – nejlépe návštěva provozu, pochopení problému, posouzení vhodnosti nasazení počítačového vidění, hrubý návrh metody měření odborníkem • Podrobná analýza problému – návrh řešení celého systému nejlépe v podobě podrobné studie • diskuze s pracovníky (managery, technickými pracovníky, kontrolory kvality, výrobáři,…) - definice požadavků zákazníka • experimenty s reálnými vzorky (např. výrobků s vadami i bez vad) - návrh a zhodnocení různých metod měření, odhad přesnosti měření, rychlosti,… • odhad potřebného HW a nutných úprav stávajícího zařízení, odhad náročnosti vývoje • odhad ceny a časové náročnosti • Řešení projektu • výběr vhodného HW, návrh konkrétní mechaniky, výroba, instalace zařízení • pořízení testovacích snímků, vývoj algoritmů • vývoj a specifikace uživatelského rozhraní • testy funkčnosti a spolehlivosti • Zkušební provoz – doladění detailů, vyhodnocení kvality měření (statistiky) • Reálný provoz – sledování stavu zařízení a kvality měření, servis

9. Volba způsobu měření • rozměry zkoumaného předmětu a jeho vzdálenost • požadovaná přesnost měření • vlastnosti povrchu předmětu (nerovnost, drsnost, odrazivost světla) • vlastnosti okolních zdrojů světla (intenzita, spektrum, koherence) • možná doba měření X odhadovaná časová náročnost snímání a zpracování • přístupnost k měřenému objektu a maximální možné rozměry měřicího systému (aby jej bylo možné například umístit na již fungující linku) • způsob vystavení měřeného objektu do vhodné měřící pozice – mechanické díly, polohování, dopravníky,… - odhad potřebného HW a nutných úprav stávajícího zařízení • možnost kalibrace systému • možnost konfigurace systému i pro jiné, podobné výrobky • přesná definice požadavků na systém a definice výstupů měření • náročnost výzkumu a vývoje • cena

10. Řetězec zpracování obrazu

11. Možné aplikace – použití počítačového vidění • Úlohy měření v rovině – přesná měření rozměrů, polohy, orientace • Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze • Střežení objektů • Klasifikace - podle tvaru (obrysu), barvy, povrchových vlastností atd. • Defektoskopie, inspekční systémy – detekce povrchových vad výrobků, inspekce transparentních materiálů atd. • OCR – SPZ, čtení kódů, převod tištěné knihy do elektronické • Měření 3D rozměrů, měření objemu, 3D digitální modely • Navigace v prostoru, polohování robotů • Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování trajektorie • Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na červenou, detekce krizových stavů • Analýza lékařských obrazů, měření biometrických údajů • Bezkontaktní měření teploty (termokamery) • Měření deformací (interferometrie) • Analýza snímků hvězdné oblohy, analýza leteckých snímků • Počítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realita • …

12. Inspekce transparentních materiálů (pivníchlahví) dno láhve hrdlo láhve • zbytky etiket • cizí objekty • špína • plíseň • škrábance stěna láhve

13. Inspekce netkaných textilií • díry • výkapky • hmyz

14. Inspekce SMD součástek špína, cizí předměty kvalita sváření, rozměry, pozice, struktura potisk – kontrola, polarita, poškození kontakty – rozměry, úhel natočení, ohyb, kvalita spoje detekce prasklin

15. Počítání objektů ve scéně • automatického počítání různě orientovaných náhodně rozmístěných skleněných broušených kamenů • návrh způsobu osvětlení, návrh software

16. Čtecí zařízení mikroteček • analýza optických vlastností mikroteček • návrh HW řešení čtečky • algoritmy pro lokalizaci mikrotečky ve snímku • algoritmy pro čtení znaků mikroteček

17. Kamerový systém do komory ionizujícího záření • sledování prováděných operací v komoře • záření nebezpečné jednak pro člověka, jednak pro elektroniku a optiku • návrh počtu a umístění kamer • návrh geometrického uspořádání optické soustavy zrcadel periskopu

18. Rychloběžná kamera • lokalizace pozice infračerveného laserového paprsku mířidla zbraně na projekční ploše • vyhodnocení správnosti míření vojáků při interaktivním tréninku při simulaci bojové scény • časový multiplex s 10 kanály (paralelně lze vyhodnocovat až 10 mířidel) • parametry kamery: 330 fps / 1280x1024 / 10 bit • paralelní vyhodnocení obrazu v FPGA (výstupem je poloha laserového svazku na plátně) zaměřovací IR laser

19. 3D měření Detekce a klasifikace vozidel Kontrola kvality svarů automobilových disků Měření objemu kapky viskózního lepidla Pořízení 3D modelu kopyta klobouku

20. Metro – počítání osob • počítání osob vstupujících a vystupujících z technických prostor metra • zlepšení kontrastu sledovaných objektů volbou pozadí

21. Dopravní úlohy – detekce průjezdu na červenou • Lokalizace SPZ • OCR

22. Dopravní úlohy – měření průměrné rychlosti v úseku

23. Dopravní úlohy – laserový měřič rychlosti vozidel • algoritmy vyhodnocení dat • testy kvality vyhodnocení vzhledem k rozdílným vstupním podmínkám

24. Dopravní úlohy - detekce kritických stavů (nehoda, zácpa) - mobilní detekce – kradená vozidla

25. Geometrie ruky Měření biometrických údajů Otisk prstu Dentální obraz Duhovka oka • Dynamické vlastnosti např. - chůze • podpis • gestikulace Sítnice oka Podpis Obličej Termogram obličeje Tvar obličeje Tvar ucha

26. Lékařské aplikace • určování polohy chirurgických nástrojů z 3D ultrazvukového přístroje • 3D měření dýchacích pohybů • geometrické srovnání odpovídajících si obrazů • - z jiných přístrojů • - před a po operaci (léčbě) • diagnostika ultrazvukových obrazů http://cmp.felk.cvut.cz

27. Sledování pohybu • trasování pohybu člověka • sledování trajektorie pohybu plavající krysy • navádění robotů http://cmp.felk.cvut.cz

28. Studování vesmíru Analýza snímků hvězdné oblohy – objevování nových hvězd, galaxií,… „Tvář na Marsu“ Zkoumání okolních planet, vesmírné výpravy Specializovaný SW – volně dostupný Sledování procesů ve vesmíru- vzplanutí mladé hvězdy (RTG snímek)

29. Letecké snímky, satelitní snímky Aktualizace map Vojenské, špionážní průzkumy Sledování počasí, předpovědi Klasifikace urbanizovaného území radarový snímek