Sztereo

1. Sztereo Vámossy Zoltán 2005 Seitz – UNI Washington; Thrun, Bradski – Stanford; Mubarak Shah anyagok alapján

2. Sztereo • Kétkamerás sztereo • Motiváció • Epipoláris geometria • Illesztés • Mélység becslés • Rektifikáció

5. Public Library, Stereoscopic Looking Room, Chicago, by Phillips, 1923

6. Teesta suspension bridge-Darjeeling, India

7. Mark Twain at Pool Table", no date, UCR Museum of Photography

8. Woman getting eye exam during immigration procedure at Ellis Island, c. 1905 - 1920, UCR Museum of Phography

9. Sztereogrammok • UCR stereographs • http://www.cmp.ucr.edu/site/exhibitions/stereo/ • The Art of Stereo Photography • http://www.photostuff.co.uk/stereo.htm • History of Stereo Photography • http://www.rpi.edu/~ruiz/stereo_history/text/historystereog.html • Double Exposure • http://home.centurytel.net/s3dcor/index.html • Stereo Photography • http://www.shortcourses.com/book01/chapter09.htm • 3D Photography links • http://www.studyweb.com/links/5243.html • National Stereoscopic Association • http://204.248.144.203/3dLibrary/welcome.html • Books on Stereo Photography • http://userwww.sfsu.edu/~hl/3d.biblio.html

10. Sztereo panorámaképek • Interaktiv demo: http://www.cs.columbia.edu/CAVE/

11. Mélységi információ sztereo képből Diszparitás térkép

12. Stereo Cyclographs [Seitz, 2001]

14. Sztereo Jelenet egy pontja Képsík Optikai középpont

15. Sztereo feladatok p’ ? p • Adott egy ppont a bal képen, hol található a hozzátartozó p’a jobbon? (párosítás - correspondence) • Milyen térbeli pont felel meg a (p, p’) képpontpárnak? (3D visszaállítás)

16. Sztereo 3D visszaállítás • Alapelv: háromszögelés • Két fénysugár segítségével • Előkövetelmények • kalibráció • összetartozó pontok (correspondence)

17. Sztereo párosítás Epipoláris vonal Epipoláris vonal Epipoláris sík • Az egymásnak megfelelő pixelek meghatározása • Ugyanahhoz a jelenetponthoz tartozó képpontpár • Epipoláris feltétel • A megfeleltetés problémáját 1D keresésre vezeti vissza a konjugált epipoláris vonalak mentén • Java demo: http://www.ai.sri.com/~luong/research/Meta3DViewer/EpipolarGeo.html

18. Sztereo feltétel - Epipolárisgeometria Epipoláris egyenes p’ Y2 X2 Z2 O2 Epipólus M Képsík Y1 p O1 Z1 X1 Fókuszsík

19. Sztereo párosítás (megfeleltetés) • Jellemzők vs. tetszőleges pixelek segítségével? • A megfeleltetés során szükségünk van-e előzetesen jellemzőkre? Julesz Béla véletlen pont sztereo diagram (Random Dot Stereogram)

20. Sztereo párosítási algoritmusok • A konjugált epipoláris vonalak mentén történő párosítás során • Tételezzük fel, hogy a pontok színe nem változik • Problémák, hibaforrások • Tükröződés • Alacsony kontrasztú területek • Elzártság • Képhiba • Kamera kalibrációs hiba • Megközelítések, módszerek • Dinamikus programozás [Baker 81,Ohta 85] • Simasági függvények • Több kép használata (trinocular, N-ocular) [Okutomi 93] • Gráfokhasználatával [Boykov 00] • …

21. Alapvető sztereo algoritmus Minden epipoláris vonalra A bal kép minden pixelére Továbbfejlesztés: ablakok párosítása • Hasonlítsunk össze minden pixelt az epipoláris vonalon • A legkisebb párosítási költségű pixelt vegyük ki - jóság

22. Ablakméret • Kisebb ablak • Több részlet • Több zaj • Nagyobb ablak • Kevesebb zaj • Kisebb részletezettség W = 3 W = 20 • Jobb eredmények adaptív ablakkal • T. Kanade and M. Okutomi,A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment,, Proc. International Conference on Robotics and Automation, 1991. • D. Scharstein and R. Szeliski. Stereo matching with nonlinear diffusion. International Journal of Computer Vision, 28(2):155-174, July 1998

23. Konkrét párosítási módszerek

24. Jellemző alapú sztereo - Token Based Stereo • Detektáljuk a jellemzőket • Csúcsok, érdekes pontok, élpontok • Keressük meg az összetartozást • Interpoláljuk a teljes felületet

25. Párosítás jellemzők nélkül • Az epipoláris feltétel miatt továbbra is 1D probléma, melyre megoldások: • Marr-Poggio • Korreláció alapú sztereo • Energia alapú módszer

26. Marr-Poggio algoritmus • Első sztereo algoritmusok egyike (1979) • Fekete és fehér pixelekből álló képekre alkalmazható • Feltételek: • Kompatibilitás:fehér fehérre illeszkedik • Folytonosság:a szomszédoknak hasonló diszparitása kell, hogy legyen • Egyértelműség:a bal kép egy pixele pontosan egy pixelhez illeszkedjen a jobb képen

27. Marr-Poggio Algorithm • Összetartozás térkép • Sorokban keresünk • 1D 1 2 3 4 5 d=2 1 1 1 d=1 1 1 Kezdeti összetartozás tömbje C0(x, d) d=0 1 1 1 d=-1 1 d=-2 1 1

28. Marr-Poggio • Iterativan számoljuk az összetartozás tömböt(lambda: 2, T: 4, w: 2) 1D eset max. lehets. diszparitás serkentő tag tiltó tag – folytonosság 2D eset

29. Korreláció alapú sztereo • A mélység a jellemzőknél kerül kiszámolásra és a többi pixelnél interpolálás • Diszparitás térkép készül a mért korreláció alapján

30. Korreláció alapú sztereo • Ha a diszparitás már ismert, akkor a mélység:

31. Példák Balkép Jobbkép Mélység térkép

32. Sztereo energia minimalizálásként • A párosítás jóságát energiaként fogalmazzuk meg • “adattag”, mely bünteti a rossz párosítást • “szomszédosság tag” a térbeli simaságot növeli

33. Sztereo eredmények • University of Tsukuba adatai • Hasonló eredmények más képekre Jelenet A valóság

34. Ablakos korrelációs algoritmus Normalizált korreláció (legjobb ablakmérettel) A valóság

35. Gráf algoritmus eredményei A valóság Gráf alapú algoritmus

36. Sztereo rekonstrukció menete • Lépések • Kamerák kalibrációja • Képrektifikáció (opcionális, de sokat gyorsít) • Diszparitás számítás • Mélység számítás

37. Kalibráció síkokkal • Ha kamera paraméterektől függ (A, R, t) ahol • Perspektíva esetén egy sík képe • 3x3-as projektív transzformáció • Vonalat, egybevágóságot megtart • A, R, t számolható legalább 3 fenti mátrixból • Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000. • http://research.microsoft.com/~zhang/Calib/

38. Rektifikáció

39. Rektifikáció • A kép transzformálása • Az optikai középpontok által meghatározott egyenessel párhuzamos sík legyen a képsík • 3x3 transzformációt használunk mindkét képre • C. Loop and Z. Zhang. Computing Rectifying Homographies for Stereo Vision. IEEE Conf. Computer Vision and Pattern Recognition, 1999.

40. Mélység számítása diszparitásból 3D renderelés egyik input kép mélységi térkép [Szeliski & Kang ‘95] X z u u’ f f baseline C C’

41. Diszparitás alapú renderelés • Új nézetek készítése • S. M. Seitz and C. R. Dyer, View Morphing, Proc. SIGGRAPH 96, 1996, pp. 21-30. • L. McMillan and G. Bishop. Plenoptic Modeling: An Image-Based Rendering System, Proc. of SIGGRAPH 95, 1995, pp. 39-46.

42. Bázistávolság megválasztása • Milyen az optimális bázistávolság? • Túl kicsi: nagy mélységi hiba • Túl nagy: nehezebb a keresés Nagy bázistávolság Kicsi bázistávolság

43. A bázistávolság hatása a mélységre

45. Sztereo Vámossy Zoltán 2005 Sebastian Thrun, Gary Bradski, Daniel RussakoffStanford CS223B Computer Vision

46. Sztereo: illusztráció

47. Sztereo • Alapok • Epipoláris geometria • Képrektifikáció • Rekonstrukció • Megfeleltetés • Aktív távolság meghatározó technikák

48. Pinhole kameramodell Képsík Fókusztávolság f Projekció középpontja

49. Pinhole kameramodell Képsík

50. Pinhole kameramodell Képsík