Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc 4+0+0v Gépi Látás

1. Ipari képfeldolgozás és képmegjelenítés Műszaki Informatika szak BSc 4+0+0v Gépi Látás Mechatronika szak MSc 2+0+1f 1. hét Követelmények – Bevezetés - Képfeldolgozás alapfogalmai - Egy kis művészettörténet - Optikai illúziók – A látás és a térérzékelés alapjai – Fénytechnikai mértékegységek - Optoérzékelők Vajta: Képfeldolgozásésmegjelenítés 2014tavasz

2. Tudnivalók a tárgyról Előadók: • Dr. Vajta László (vajta@iit.bme.hu) a félév első 7 hetében • Dr. Loványi István (lovanyi@iit.bme.hu) a műszaki informatika hallgatóknak a félév hátralévő részében • Dr. Vajta László a mechatronika MSc hallgatóknak a félév második felében a laborgyakorlatokon Vajta: Képfeldolgozásésmegjelenítés 2014tavasz

3. A félév beosztása • Első 7 oktatási héten közös előadások (utolsó alkalom március 26. szerda) • Előadások minden hétfőn 8.15-10.00 és szerdán 8.15-10.00 között IB017 teremben • Műszaki Informatika hallgatók órái a félév hátralévő időszakában ugyanitt folytatódnak Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

4. Mechatronika MSc hallgatók a félév hátralévő részében labor gyakorlatokon vesznek részt (3 darab 4 órás mérés hétfőnként 8.15-12.00 között 4 fős csoportokban) • Közös zárthelyivel fejezzük be a félév első részét. A zárthelyit a március 26.-i (szerda) előadáson írjuk. • A tananyagot és egyéb információkat a topcat.iit.bme.hu/~vajta/3D címről lehet letölteni Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

5. Követelmények • Sikeres zárthelyi (pótlás a félév utolsó hetében lehetséges) • Elfogadott házi feladat • Gépész MSc: sikeresen teljesített 3 labor • Gépész MSc osztályzat: zárthelyi 50%, házi feladat 30%, mérések osztályzat átlaga 20% • Műszaki informatikus BSc: vizsga, az osztályzat: a vizsga zárthelyi 70% (de legalább elégséges), házi feladat 30% • Megajánlott jegy: házi feladat prezentáció hallgatói minősítése alapján Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

6. Házi feladat 1. • A félév során egy házi feladatot kell megoldani • A házi feladat egy képfeldolgozással kapcsolatos téma részletes kidolgozása, algoritmus implementálása lehet • A házi feladatot csoportokban (4 fő/csoport) kell elkészíteni. A csoportbeosztás gépész hallgatóknál megegyezik a labormérések csoportbeosztásával. • A házi feladatok keretében 5-10 oldalas beszámolót (Msword) és 10 perces előadás ppt prezentációt kell készíteni. A Mechatronika hallgatók a március 24.-i és 26.-i órán, a Mérnökinformatikus hallgatók a félév végén meg is tarthatják az előadást. Az előadásokat a hallgatók pontozzák, a legjobb előadásokat (szakonként 2-2 darab max) megajánlott jeggyel jutalmazzuk, amennyiben az egyéb követelményeket a csoport összes tagja teljesítette. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

7. Házi feladat 2. • Téma javaslat és csoport összeállítási kérések: 1. oktatási hét péntek (február 14.) 18.00 • Csoportbeosztás és oktatói témajavaslatok közzététele: 2. oktatási hét hétfő (február 17.) 18.00 • Témaválasztás határideje: 2. oktatási hét péntek (február 21.) 18.00 • Kidolgozott feladatok (word és ppt) beadási határideje és előadás tartásra jelentkezés: 6. oktatási hét hétfő (március 17.) 18.00 • Jelentkezés és minden egyéb kommunikáció formája email. Kötelező subject: GL2014 illetve IKM2014 • FIGYELEM! A nem megfelelő subject mezővel küldött emaileket nem dolgozzuk fel, és a hibás mail nem képez semmilyen jogorvoslatra sem alapot!!! Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

8. A Gépi látás tantárgy részletes tematikája (megegyezik az Ipari képfeldolgozás tantárgy 1-7. heti tematikájával) • A számítógépes látás fogalmai, definíciók. Alkalmazási példák. Emberi látás alapjai. A térbeli érzékelés lehetősége monokuláris látással. Binokuláris látás. • Optoelektronikai eszközök: Alapfogalmak. Fénytechnikai mértékegységek. Optikai érzékelők, CCD érzékelők, PSD érzékelők. Térbeli információk mérésére alkalmas eszközök (3D kamerák). Képalkotó diagnosztikai eszközök. Korszerű képmegjelenítő eszközök. LCD és plazma kijelzők, projektorok. Lentikuláris megjelenítők. • A képek matematikai leírása. A képfüggvények tulajdonságai. Tértranszformációk szerepe a képfeldolgozásban. 2D Fourier transzformáció tulajdonságai, képi ábrázolása, interpretálása. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

9. Digitális kép matematikai reprezentációja: Mintavételezés, kvantálás. Koordinátageometriai alapok. Geometriai transzformációk. Kameramodellek: Pin-hole modell. A perspektív leképzés transzformációs modellje. Megvilágítás, optika, érzékelő modellezése. Árnyalási modellek. Sztereo képalkotás modellezése. • Ipari képfeldolgozási példák. Bináris képek feldolgozása. Morfológiai alapműveletek. • A képek szűrése a tér- és a frekvencia tartományban. Lineáris és nemlineáris szűrések. Alkalmazási példák. • A képek szegmentálásának alapfogalmai. hasonlóság alapú szegmentálások. Szegmentálás a nagyfrekvenciás tulajdonságok alapján. Hough transzformáció. Alkalmazási példák. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

10. Optical flow feldolgozás. Motion sztereo. Mobil robotok látórendszerei. • 3D látórendszerek alkalmazása a gyakorlatban. Ipari minőség-ellenőrzés. Navigáció. Közlekedési alkalmazások. Biztonságtechnika és terrorizmus elleni küzdelem. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

11. KÉRDÉS AZ EDDIGIEKHEZ? Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

12. Akkor vágjunk bele! Témánk: a számítógépes képfeldolgozás Módszereink: Ockham „borotvája” Példáink: közlekedés, egészségügy, biztonságtechnika, gyártástechnológia, kutatás, virtuális valóság Mintánk: a művészetek, az emberi látás, stb. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

13. Micsoda tulajdonképpen Ockham borotvája? A gazdaságossági elv. „Sokaság szükségtelenül nem tételezhető" (lat.: Pluralitas non est ponenda sine necessitate). E szerint a magyarázatoknak nem szabad az okokat szükségtelenül gyarapítani. Ha egy jelenségre két, egyenlő valószínűséggel bíró magyarázat lehetséges, akkor azt kell elfogadni, amelyik kevesebb létező feltételezésével ad magyarázatot. Például ha egy hasadt fatörzs fekszik a földön, akkor ez lehet egy villámcsapás miatt, vagy mert egy titkos kormányzati fegyverprogramot teszteltek. A legegyszerűbb kielégítő magyarázat Occam borotvája alapján a logikus is egyben: az ok a villámcsapás. William of Ockham (Guillemus Ockham, ismert Occam néven is) (kb. 1285–1348) angol nemzetiségű ferences rendi szerzetes, a skolasztikus filozófia kiemelkedő személyisége. http://hu.wikipedia.org/wiki/William_Ockham Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

14. Bevezetés • Alkalmazási területek • Tudományos kutatás • Ipar, szolgáltatások • Orvostudomány • Környezetvédelem • Űrkutatás, meteorológia • Építészet, gépészet • Robotika • stb. A vizsgálatok célja Felhasználás Mit mér? Példa Objektum Kontúrok Alkatrész felismerés felületek válogatás struktúrák Objektum Méretek Minőség- felmérés kontúrok ellenőrzés Pozíció Térbeli Robotika helyzet Adaptív Folyamat- Heggeszté- folyamatsz. változók si varratok Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

15. A számítógépes képfeldolgozás Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

16. A számítógépes képfeldolgozás lépései Lényeg- kiemelés Szegmen- táció Felismerés és interpretáció Előfel- dolgozás Tudásbázis Képbe-vitel Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

17. A képfeldolgozás terminológiája • Mintatér, szürkeségi szint, felbontás, pixel • Tulajdonságtér, lényegkiemelés • Döntés • Képjavítás • Pontszerű, lokális és globális műveletek • Két dimenziós képfeldolgozás • Három dimenziós képfeldolgozás • Látószög, nagyítás, mélységélesség, mélységi élesség • Geometriai torzítás Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

18. Nézzünk pár érdekes alkalmazást! Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

19. Közlekedési alkalmazások – gyalogos detektálás http://www.youtube.com/watch?feature=endscreen&v=reQX7ha0sQM&NR=1 Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

20. Közlekedési alkalmazások – forgalomszámlálás http://www.youtube.com/watch?v=8ABnPAsVDuI Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

21. Közlekedési alkalmazások – automatikus sávkövetés http://www.youtube.com/watch?v=ipXQFcAeovk Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

22. Közlekedési alkalmazások – ütközés elhárítás http://www.youtube.com/watch?v=aNi17YLnZpg&feature=fvwrel Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

23. Biztonsági alkalmazások – objektum követése http://www.youtube.com/watch?v=HiHrKVJEv60 Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

24. A képek megértésében sokat segít a képzőművészet fejlődésének vizsgálata • Nagy vonalakban átnézzük az • egyiptomi (síkok, statikus) • görög (mozgás, mélységek, színek) • római (görög minta követése) • gótikus (reflexiók első értelmezése) • reneszánsz • jellegzetességeit Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

25. Az ókori egyiptomi festészet és domborműszobrászat összefoglaló elnevezése sík-művészet. A teret síkokra bontották föl, az időt nem ábrázolták. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

26. A görög festmények nagy része elveszett, vagy nagyon megrongálódott. Csak a korabeli forrásokból tudhatunk meg valamit a festészetükről. A görög festészet is az emberi alakot kezdte tanulmányozni először, majd a mozgást, a távlatot Polügnotosz, a színárnyalatokat, a fény- és árnyékhatásokat Apollodorosz kutatta. http://www.sze.hu/muvtori/belso/stilusok/gorog/gorog6.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

27. Philoxenosz: Nagy Sándor és Dareiosz csatája (i.e. 4.sz. vége, mozaikként maradt fenn) Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

28. A római festészet hasonló, mint a görög.Térbeliség érzékeltetése: árnyékokkal és fényekkel, a párhuzamosok még nem összetartóak, a mélységnek az egyre halványodó színezés felel meg. http://www.sze.hu/muvtori/belso/stilusok/romai/romai04.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

29. A gótikus festészetet legfőbb jellemzője az arabeszkekhez hasonlóan burjánzó, játékosan lendülő vagy megtörő vonal, végső soron a síkdíszítmény uralma. Giotto di Bondone 1267 – 1337) firenzei festő, szobrász és építész, a korai reneszánsz, a trecento művészetének első jelentős alakja. Találkozás az Aranykapunál (Padova, Scrovegni-kápolna) Pünkösd Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

30. A reneszánsz különböző festéstechnikai újítások, a szín és térperspektíva felfedezésének kora. Innentől beszélhetünk a képek megértésének technikájáról Jan Vermeer van Delft 1658 Rembrandt 1642 Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

31. A fejlődés során a művészek megértették azt, hogy a képeken hogyan jelennek meg olyan jelenségek, mint • A mélység • A felületek görbülete • Az anyagminőség • A mozgás • A fények játéka • Technikai módszereket fejlesztettek a megértett folyamatok „mérésére”. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

32. Brunelleschi Kukucskáló módszere Táblaképe (elveszett) a firenzei San Giovanni keresztelőkápolnát ábrázolja. Pontosan azt mutatja be, ahogyan a kápolna a katedrális kapujából látszik. A festmény illuzionisztikus hatásának élethűségét úgy igazolta, hogy lyukat fúrt rajta azon a ponton, amelyet később enyészpontnak neveztek el. A lyukon belenézve a másik kézben tartott tükörbe, a néző összevethette a tükörben látott képet a valósággal. http://lazarus.elte.hu/~zoltorok/oktat/kommunikacio/antal/perspektiva.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

33. Alberti módszere Egy emberalak magasságán alapul, amit 3 „braccio”-ban határozott meg (kb. 1,8 m). A négyszög alakú képfelület alapvonalát bracciokra osztotta fel. Meghatározta az enyészpontot úgy, hogy az alapvonal középpontjából kiindulva 3 braccio hosszú, függőleges vonalat húzott. Ez a pont a művész szemével egy vonalban volt. Mindezek után „ortogonális” egyenesekkel kötötte össze az alapvonal beosztásait az enyészponttal. http://lazarus.elte.hu/~zoltorok/oktat/kommunikacio/antal/perspektiva.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

34. A következő fázisok szemléltetésére Alberti oldalnézetet vázolt fel, amelyen a képsík éle látszik. Felosztotta az alapsíkot bracciokra és a képsík élétől balra megjelölte a nézőpontot (meghatározva ezzel a látótávolságot). Következő lépésként látósugarakat reprezentáló egyeneseket húzott a nézőpontból az alapsík osztópontjához. Ezek a vonalak és a képsík élének metszéspontjai jelölték ki a horizontális egyenesek helyét. Ezeket Alberti rárajzolta az első fázis ábrájára, s így rövidülésben látszó kockás padlót kapott eredményül. http://lazarus.elte.hu/~zoltorok/oktat/kommunikacio/antal/perspektiva.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

35. Leonardo görbe vonalú perspektívája Abban az esetben, ha a szemtől az oszlopok széléig húzott vonalat egyenessel metsszük, az oldalsó oszlopok szélesebbnek látszanak, mint a középső. Ha viszont a metsző vonal félkörív, az oszlopok egyformának tűnnek. http://lazarus.elte.hu/~zoltorok/oktat/kommunikacio/antal/perspektiva.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

36. Leonardo da Vinci: Angyali üdvözlet Gondosan kidolgozott perspektivikus szerkezete van, az alakok azonban aránytalanul nagyok és nem olyan szabályosak, mint amilyennek első pillantásra tűnnek. Ha jól megfigyeljük, Mária karja túl hosszú a testéhez képest. A jelenetet négyzethálós alaprajzra vetítve világosan látszik, hogy Mária karjának és az olvasópultnak egy egységgel hátrébb kellene lennie, mert a kar így illeszkedne helyesen a testhez. Leonardo számára azonban fontosabb volt a történet világos elbeszélése, mint a szabályos perspektíva. http://lazarus.elte.hu/~zoltorok/oktat/kommunikacio/antal/perspektiva.htm Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

37. Leonardo da Vinci: Keresztelő Szent János A megvilágított alak a homályból bukkan elő. Nehéz meghatározni a ráeső fény forrását. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

38. Kis kikapcsolódás: a természet furcsaságai… Tehát nem csak a forma számít! Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

39. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

40. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

41. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

42. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

43. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

44. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

45. Kicsit komolyabban: generáljunk mesterségesen furcsaságokat! Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

46. Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

47. Számold meg a fekete pontokat! Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

48. A vízszintes vonalak párhuzamosak vagy egymáshoz képest ferdék? Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

49. Hány lába van az elefántnak? Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz

50. Folyamatosan nézd a fekete pontot!Egy idő után, a körülötte lévő szürke felhő mintha összeszűkülne! Vajta: Képfeldolgozásésmegjelenítés 2014 tavasz