Část 1 Přehled a úvod

1. Invitation to 3D vision

2. Část 1 Přehled a úvod

3. Rekonstrukce z obrázků – Základní problém Vstup:Odpovídající “rysy” v několika perspektivních obrázcích. Výstup:Pozice kamery, kalibrace, reprezentace scény.

4. Aplikace – Autonomní dálniční vozidla

5. Rate: 10Hz; Accuracy: 5cm, 4o Aplikace –Bezposádkové letecké prostředky (UAVs) Courtesy of Berkeley Robotics Lab

6. Aplikace – Real-Time virtuální vkládání objektů Invitation to 3D vision UCLA Vision Lab

7. Aplikace – Real-Time Sportovní pokrytí First-down line and virtual advertising Invitation to 3D vision Princeton Video Image, Inc.

8. Aplikace – Modelování a vykreslování na základě obrázků Invitation to 3D vision Image courtesy of Paul Debevec

9. Část 2 Geometrie obrázku Invitation to 3D vision

10. Přehled • 3-D Euklidovský prostor & pohyb pevných objektů • Souřadnice a souřadnicové rámce • Pohyb pevných objektů a homogenní souřadnice • Geometrické modely kamer • Model Pinhole kamery • Skutečné parametry kamery • Z metrických k obrázkovým souřadnicím Přehled značení Invitation to 3D vision

11. Souřadnicebodu v prostoru: Standardní bázové vektory: 3-D Eiklidovský prostor- Kartézský souřadnicový systém Invitation to 3D vision

12. Souřadnice vektoru: 3-D Euklidovský prostor- Vektory “Volný” vektorje definován pomocí dvojice bodů: Invitation to 3D vision

13. Vektorový součin dvou vektorů: 3-D Euklidovský prostor– Skalární a vektorový součin Skalární součindvou vektorů: Invitation to 3D vision

14. Maticový zápis rotace: Rotace Matice rotace: Invitation to 3D vision

15. Maticový zápis: Maticový zápis rychlostí: Rotace a posunutí Invitation to 3D vision

16. Homogenní souřadnice: Homogenní souřadnice/rychlost jsou tedy popsány: RIGID-BODY MOTION – Homogenní souřadnice 3-D souřadnice jsou dány vztahem: Invitation to 3D vision

17. IMAGE FORMATION – Perspektivní zobrazení “The Scholar of Athens,” Raphael, 1518 Invitation to 3D vision Image courtesy of C. Taylor

18. Čelní pinhole Tvorba obrazu– Model Pinhole kamery Pinhole Invitation to 3D vision

19. Homogenní souřadnice Tvorba obrazu– Pinhole Camera Model 2-D souřadnice Invitation to 3D vision

20. prostorové souřadnice Lineární transformace pixelové souřadnice Parametry kamery– Pixelové souřadnice Invitation to 3D vision

21. Kalibrační matice (skutečné parametry) Matice projekce Model kamery Parametry kamery– Kalibrační matice a model kamery Pinhole camera Pixelové souřadnice Invitation to 3D vision

22. Zobrazení prostorového bodu do roviny obrazu: IMAGE FORMATION – Obraz bodu Homogenní souřadnice prostorového bodu Homogennísouřadnice jeho 2-D obrazu Invitation to 3D vision

23. Homogenní reprezentace jejího 2-D obrazu Projekce prostorové úsečky do roviny obrázku Tvorba obrazu– Obraz úsečky Homogenní reprezentace prostorové úsečky Invitation to 3D vision

24. Souhrn značení– Více obrazů . . . Invitation to 3D vision

25. Část 3Geometrie dvou pohledů

26. Obecné zadání Jsou dány dva obrazy scény, úkolem jeurčit vzájemnou polohu kamer a prostorovou strukturu scény Invitation to 3D vision

27. Model Pinhole kamery • 3D body • Obrazové body • Perspektivní projekce • Pohyb pevných objektů • Pohyb pevných objektů a perspektivní projekce Invitation to 3D vision

28. Pohyb pevných objektů – Dva obrazy Invitation to 3D vision

29. 3D Struktura and rozpoznání pohybu Euklidovksá transformace Měřené hodnoty neznámé Hledáme takovou rotaci,posunutí a hloubkutakovéaby chyba projekce bylaminimální Dva obrazy ~ 200 bodů 6 neznámých – Pohyb3 Rotace, 3 Posunutí - Struktura 200x3 souřadnic - (-) universálníváha Obtížný optimalizační problém Invitation to 3D vision

30. Epipolárnígeometrie Obrazová korespondence • Algebraickáeliminacehloubky [Longuet-Higgins ’81]: • Essentiální matice Invitation to 3D vision

31. Epipolárnígeometrie • Epipolar lines • Epipoles Obrazová korespondence Invitation to 3D vision

32. Charakterizace esentiální matice • Essentiální matice speciální 3x3 matrix Theorem 1a(Essential Matrix Characterization) A non-zero matrix is an essential matrix iff its SVD: satisfies: with and and Invitation to 3D vision

33. Odhadnutí essentiálnímatice • Odhadessentiální matice • Dekompoziceessentiálnímatice na • Je dáno n odpovídajících si bodů: • Hledáme rotaciand posunutítakové, že epipolární chyba je minimální • Prostor všech essentiálníchmaticje 5 dimensionální • 3 stupně volnosti– rotace • 2 stupně volnosti – posunutí(až na váhu) Invitation to 3D vision

34. Určení relativní polohy zessentiálnímatice Essentiální matice Theorem 1a (Určení polohy) Existují dvě relativní polohy,kdea odpovídající nenulové essentiální matici. Invitation to 3D vision

35. Odhadessentiálnímatice • Označme • Dosazením • Dosazením všech bodů získáme Invitation to 3D vision

36. Odhad essentiálnímatice • Řešení • Vlastní vektpor odpovídající nejmenšímu vlastnímu číslu • když degenerovaná configurace Projekce do essentiálního prostoru Theorem 2a (Project to Essential Manifold) If the SVD of a matrix is given by then the essential matrix which minimizes the Frobenius distance is given by with Invitation to 3D vision

37. Lineární algoritmus pro dva obrazy • Řešení lieárního LLSEproblému: Následovaný projekcí • Projekce do essentiálního prosotru: SVD: E is 5 diml. sub. mnfld. in • bodový lineární algoritmus • Určeníneznámé polohy: Invitation to 3D vision

38. Rekonstrukce polohy • Existují právě dvědvojiceodpovídající každé • essentiální matici . • Posunutí je nenulové • Body jsou v obecné poloze • - degenerovanýstav– komplanární body • - kvadratická plocha • Lineární 8-bodový algoritmus • Nonlineární 5-bodový algoritmus přináší až 10 řešení Invitation to 3D vision

39. 3D rozpoznání struktury • odstranění jedné váhy • Řešení soustavy Pokud je konfigurace nekritická, může být euklidovská struktura bodů a pohyb kamery rekonstruována až na univerzální konstantu Invitation to 3D vision

40. Příklad – Dva obrazy Přiřazení odpovídajících si bodů Invitation to 3D vision

41. Příklad – epipolární geometrie Pozice kamery a umístění bodů v prostoru Invitation to 3D vision

42. Obrazová korespondence Epipolárnígeometrie – Rovinná úloha • Rovina v souřadnicovém rámci první kamery Lineární zobrazení určující vztah mezi dvěma odpovídajícími body Invitation to 3D vision

43. Rozložení H • Algebraická eliminace hloubky • může být odhadnuta lineárně • Úprava matice • Rozložení H na 4 řešení Invitation to 3D vision

44. Více informací naleznete v anglickém jazyce na adrese: http://vision.ucla.edu/MASKS/ Závěr Invitation to 3D vision