Kamerák és képalkotás

1. Kamerák és képalkotás Vámossy Zoltán 2004 (Stanford, Berkeley, CMU, Birmingham, ELTE, SZTAKI, SzTE anyagok alapján)

2. Egy kép többet jelent, mint tízezer szó!

3. Témakörök • A képkeletkezés geometriai és optikai elemei • Digitális képek vételezése és reprezentációja • Kamerák matematikai modellje • Lencsék és szenzorok

4. Digitális képek • Intenzitás képek Szokásos képek, fény és szín fotografikus kódolása. Általában kamera a képvétel eszköze • Tartomány képek (range images) mélységi szenzorokat használnak az alak és a távolság mérésére: szonár vagy lézer szkennerek

5. Intenzitás képek: szürke vagy színes

6. Alapvető optika: képfókuszálás • A kép fókuszban van: a jelenet bármely pontjáról kiinduló bármely fénysugár a képsík egy pontjába tart • Fókuszálás: • A kamera apertúrát ponttá zsugorítjuk: pinhole • Lencsék és apertúra használata

7. Kamerák - fényképezés • Perspektíva vizsgálat – Brunelleschi 15. század • Camera Obscura – Leonardo rajzaiban

8. Kamerák - fényképezés • Első fénykép Niepce - 1816 • Első megmaradt fénykép - 1822

9. Pinhole kamera • Absztrakciós modell • Doboz egy kis lyukkal rajta • Gyakorlatban is működik • Fordított állású kép a képsíkon

10. Pinhole kamera

11. Távolabbi objektumok kisebbek Hasonlóháromszögek alapján

12. Következmény: párhuzamos vonalak találkoznak • Létezik távlatpont (vanishing point) Gyakran a filmsíkot a fókuszpont elé helyezik A filmsík mozgatása csak skálázza a képet, invertálást elkerülik

13. A párhuzamosoknak megfelelő vonalak a képen a nekik megfelelő távlatpontban “metszik” egymást Az egy síkban fekvő egyenesek távoli pontjai a horizonton helyezkednek el Távlatpontok - Vanishing points

14. Vanishing pontok VPL H VPR VP1 VP2 Különböző irányokhoz különbözőtávlatpontok tartoznak VP3

15. Következmény az érzékelésben* Azonos méretű dolgok kisebbnek tűnnek Párhuzamos vonalak egy pontban találkoznak * A Cartoon Epistemology: http://cns-alumni.bu.edu/~slehar/cartoonepist/cartoonepist.html

16. Következmény az érzékelésben 2 Logaritmikusa természetben Térben változó ráccsal kell térképezni az érzékelés során

17. Perspektívitás hatása

18. Kamera modellek Perspektív projekció Gyenge perspektív projekció Affin projekció

19. A világ és a kamera koordinátarendszer általában nem így helyezkedik el Feltételezések: A projekció középpontja azonos a világ origójával A kamera optikai tengelye azonos a világ z tengelyével Perspektív projekció modell

20. Elnevezések: Vetítési középpont: O origó Fókusztávolság: a képsík és O távolsága: f Optikai tengely: O-n átmenő, képsíkra merőleges egyenes Kép középpont, vagy fő pont: ahol az optikai tengely döfi a képsíkot Derékszögű koordinátákban: Hasonló háromszögekből: (x, y, z) -> (f x/z, f y/z, -f) A harmadik koordinátát elhagyjuk Ha a képsíkot a másik oldalon tételezzük fel, akkor (x, y, z) -> (f x/z, f y/z, +f) A projekció egyenletei

21. Extra koordináta – skálázó faktor 2D Ekvivalencia relációk*(X,Y,Z) ugyanaz (X,Y,Z) 3D Ekvivalencia relációk*(X,Y,Z,T) ugyanaz (X,Y,Z,T) Megjegyzés Végtelen távoli pont reprezentálható Párhuzamosok metszésével Párhuzamos síkok ahol metszik egymást Perspektív kamera leírása mátrixként Homogén koordinátákkal

22. Homogén koordinátás forma 3D pont (X,Y,Z,T) Képpont (U,V,W) Ellenőrizzük! A kamera mátrix

23. Pont pontba Vonal vonalba Síkok teljes képbe Poligonok poligonba Objektum méret fordítottan arányos a távolsággal Elfajuló esetek Fókuszponton átmenő vonal pontba (Sok az egybe leképezés) Fókuszponton átmenő sík vonalba P. projekció geometriai tulajdonságai

24. (mert vonalak vonalba) Poliéderek poligonba képződnek

25. Képsíkkal párhuzamos vonal skálázódik Kis fókusztávolságnál több pont kerül a képsíkra (széles látószögű kamera) Nagy fókusztávolságnál kisebb látószög Nem távolság és nem szögtartó Távlatpontok: párhuzamos vonalak képe a képsíkon olyan vonalak, melyek meghosszabbítása egy pontban metszi egymást Horizont vonal: P. projekció tulajdonságai

26. A “vonal címkézés” feladata Valós 3D képeken nem lehet a vonalakat és a kereszteződéseket címkézni Csomópontok - kereszteződések

27. Ortografikus projekció • Párhuzamos vetítő sugarak esetében • f “végtelen nagy”

28. Az ortografikus projekció mátrixa Tulajdonságok: • Párhuzamos párhuzamosba • Méretek nem változnak a kamerától mért távolság függvényében

29. Perspektív projekció nem lineáris Skálázott ortografikus projekció -> lineáris Feltételek: Az optikai tengelyhez közel vannak az objektumok Az objektum méretek kicsik a kamerától mért távolságukhoz viszonyítva Előny: egyszerű Hátrány: rossz Gyenge perspektíva (Weak perspective)

30. Gyenge perspektíva: affin projekció a nagyítás állandó

31. Gyenge perspektíva modell HaZkonstans x= kXésy = kY, aholk=f/Z skálázó faktor Ortografikus projekciót és skálázást jelent

32. Összehasonlítás Gyenge perspektív Perspektív

33. Perspektív projekció feltételezése

34. Perspektív projekció feltételezése

35. A pinhole kamerák határa

36. A pinhole kamerák határa Túl nagy pinhole - sok irányt átlagol, elmosó hatás Túl kicsi pinhole- elhajlás (kvantum effektus) elmossa a képet,kevés a fény A pinhole kamerák sötétek, mert adott pontból csak nagyon kevés fénysugár éri el a felületet.

37. Lencsék képalkotása

38. Lencsék használatának oka • Több fényt kell beengedni • (Fény)nyalábok fókuszálása

39. Fénytörés Fénytörés Dtn1 a1 a1 a b q1 F q2 z2 d e Dtn2 a2 Snell’s law Snellius – Descartes törvény (1621) n1 sina1 = n2 sin a2

40. Paraxiális, vagy elsőrendű optika Paraxiális, vagy elsőrendű optika Snellius-Dscartes törvény: n1 sina1 = n2 sin a2 Kis szögek: n1a1 n2a2 Sin a  a = y/r Tan b  b = y/x

41. Vékony lencsék Vékony lencsék Gömbszerű lencsefelület; Tengellyel közel párhuzamos bejövő fény; vastagság << sugár; mindkét oldalon ugyanolyan együttható

42. Vékony lencsék - összefoglalás Vékony lencsék - összefoglalás http://www.phy.ntnu.edu.tw/java/Lens/lens_e.html

43. Mélységi élesség

44. Mélységi élesség Hasonlóan 

45. Mélységi élesség Csökken d-vel, nő Z0-val A bejövő fény mennyisége és a kép mélységi élessége között tartsunk egyensúlyt

46. Eltérések a gyakorlatban Feltevések: • Egy pontból kiinduló minden sugár egy pontba fókuszál • Vékony lencsére feltétel 2. Minden képpont a képsíkban van 3. Nagyításállandó Az ettől történő eltérések a leképezési hibák Marc Pollefeys

47. Leképezési hibák (aberrations) Hibatípusok: • Geometriai: • Nagy szögekre nagyobb • Harmadrendű optika • Kromatikus • A hullámhossz függvénye a törés Marc Pollefeys

48. Geometriai aberrációk • gömbi eltérés • asztigmatizmus • Torzítás • kóma Lencsékkel redukálhatóak ezek a hibák

49. Gömbi eltérés - szferikus aberráció • A tengellyel párhuzamos sugarak nem egy pontba konvergálnak • A lencse külső pontjainak fókusztávolsága kisebb Ok: Modellezés pontatlansága - valójában nem vékony a lencse

50. Asztigmatizmus - Astigmatism • A főtengelytől távolabbi pontok leképzésénél fellépő hiba • Ferdén beeső, keskeny nyaláb esetén • Pontszerű kép helyett, két egymásra merőleges képvonal eltérő távolságokban (meridiánis és szaggitális síkban)