1 / 44

Část 1 Přehled a úvod

Část 1 Přehled a úvod. Rekonstrukce z obrázků – Základní problém. Vstup : Odpovídající “ rysy ” v několika perspektivních obrázcích . Výstup : Pozice kamery , kalibrace , reprezentace scény. Aplikace – Autonomní dálniční vozidla. Rate: 10Hz; Accuracy: 5cm, 4 o.

Download Presentation

Část 1 Přehled a úvod

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Invitation to 3D vision

  2. Část 1 Přehled a úvod

  3. Rekonstrukce z obrázků – Základní problém Vstup:Odpovídající “rysy” v několika perspektivních obrázcích. Výstup:Pozice kamery, kalibrace, reprezentace scény.

  4. Aplikace – Autonomní dálniční vozidla

  5. Rate: 10Hz; Accuracy: 5cm, 4o Aplikace –Bezposádkové letecké prostředky (UAVs) Courtesy of Berkeley Robotics Lab

  6. Aplikace – Real-Time virtuální vkládání objektů Invitation to 3D vision UCLA Vision Lab

  7. Aplikace – Real-Time Sportovní pokrytí First-down line and virtual advertising Invitation to 3D vision Princeton Video Image, Inc.

  8. Aplikace – Modelování a vykreslování na základě obrázků Invitation to 3D vision Image courtesy of Paul Debevec

  9. Část 2 Geometrie obrázku Invitation to 3D vision

  10. Přehled • 3-D Euklidovský prostor & pohyb pevných objektů • Souřadnice a souřadnicové rámce • Pohyb pevných objektů a homogenní souřadnice • Geometrické modely kamer • Model Pinhole kamery • Skutečné parametry kamery • Z metrických k obrázkovým souřadnicím Přehled značení Invitation to 3D vision

  11. Souřadnicebodu v prostoru: Standardní bázové vektory: 3-D Eiklidovský prostor- Kartézský souřadnicový systém Invitation to 3D vision

  12. Souřadnice vektoru: 3-D Euklidovský prostor- Vektory “Volný” vektorje definován pomocí dvojice bodů: Invitation to 3D vision

  13. Vektorový součin dvou vektorů: 3-D Euklidovský prostor– Skalární a vektorový součin Skalární součindvou vektorů: Invitation to 3D vision

  14. Maticový zápis rotace: Rotace Matice rotace: Invitation to 3D vision

  15. Maticový zápis: Maticový zápis rychlostí: Rotace a posunutí Invitation to 3D vision

  16. Homogenní souřadnice: Homogenní souřadnice/rychlost jsou tedy popsány: RIGID-BODY MOTION – Homogenní souřadnice 3-D souřadnice jsou dány vztahem: Invitation to 3D vision

  17. IMAGE FORMATION – Perspektivní zobrazení “The Scholar of Athens,” Raphael, 1518 Invitation to 3D vision Image courtesy of C. Taylor

  18. Čelní pinhole Tvorba obrazu– Model Pinhole kamery Pinhole Invitation to 3D vision

  19. Homogenní souřadnice Tvorba obrazu– Pinhole Camera Model 2-D souřadnice Invitation to 3D vision

  20. prostorové souřadnice Lineární transformace pixelové souřadnice Parametry kamery– Pixelové souřadnice Invitation to 3D vision

  21. Kalibrační matice (skutečné parametry) Matice projekce Model kamery Parametry kamery– Kalibrační matice a model kamery Pinhole camera Pixelové souřadnice Invitation to 3D vision

  22. Zobrazení prostorového bodu do roviny obrazu: IMAGE FORMATION – Obraz bodu Homogenní souřadnice prostorového bodu Homogennísouřadnice jeho 2-D obrazu Invitation to 3D vision

  23. Homogenní reprezentace jejího 2-D obrazu Projekce prostorové úsečky do roviny obrázku Tvorba obrazu– Obraz úsečky Homogenní reprezentace prostorové úsečky Invitation to 3D vision

  24. Souhrn značení– Více obrazů . . . Invitation to 3D vision

  25. Část 3Geometrie dvou pohledů

  26. Obecné zadání Jsou dány dva obrazy scény, úkolem jeurčit vzájemnou polohu kamer a prostorovou strukturu scény Invitation to 3D vision

  27. Model Pinhole kamery • 3D body • Obrazové body • Perspektivní projekce • Pohyb pevných objektů • Pohyb pevných objektů a perspektivní projekce Invitation to 3D vision

  28. Pohyb pevných objektů – Dva obrazy Invitation to 3D vision

  29. 3D Struktura and rozpoznání pohybu Euklidovksá transformace Měřené hodnoty neznámé Hledáme takovou rotaci,posunutí a hloubkutakovéaby chyba projekce bylaminimální Dva obrazy ~ 200 bodů 6 neznámých – Pohyb3 Rotace, 3 Posunutí - Struktura 200x3 souřadnic - (-) universálníváha Obtížný optimalizační problém Invitation to 3D vision

  30. Epipolárnígeometrie Obrazová korespondence • Algebraickáeliminacehloubky [Longuet-Higgins ’81]: • Essentiální matice Invitation to 3D vision

  31. Epipolárnígeometrie • Epipolar lines • Epipoles Obrazová korespondence Invitation to 3D vision

  32. Charakterizace esentiální matice • Essentiální matice speciální 3x3 matrix Theorem 1a(Essential Matrix Characterization) A non-zero matrix is an essential matrix iff its SVD: satisfies: with and and Invitation to 3D vision

  33. Odhadnutí essentiálnímatice • Odhadessentiální matice • Dekompoziceessentiálnímatice na • Je dáno n odpovídajících si bodů: • Hledáme rotaciand posunutítakové, že epipolární chyba je minimální • Prostor všech essentiálníchmaticje 5 dimensionální • 3 stupně volnosti– rotace • 2 stupně volnosti – posunutí(až na váhu) Invitation to 3D vision

  34. Určení relativní polohy zessentiálnímatice Essentiální matice Theorem 1a (Určení polohy) Existují dvě relativní polohy,kdea odpovídající nenulové essentiální matici. Invitation to 3D vision

  35. Odhadessentiálnímatice • Označme • Dosazením • Dosazením všech bodů získáme Invitation to 3D vision

  36. Odhad essentiálnímatice • Řešení • Vlastní vektpor odpovídající nejmenšímu vlastnímu číslu • když degenerovaná configurace Projekce do essentiálního prostoru Theorem 2a (Project to Essential Manifold) If the SVD of a matrix is given by then the essential matrix which minimizes the Frobenius distance is given by with Invitation to 3D vision

  37. Lineární algoritmus pro dva obrazy • Řešení lieárního LLSEproblému: Následovaný projekcí • Projekce do essentiálního prosotru: SVD: E is 5 diml. sub. mnfld. in • bodový lineární algoritmus • Určeníneznámé polohy: Invitation to 3D vision

  38. Rekonstrukce polohy • Existují právě dvědvojiceodpovídající každé • essentiální matici . • Posunutí je nenulové • Body jsou v obecné poloze • - degenerovanýstav– komplanární body • - kvadratická plocha • Lineární 8-bodový algoritmus • Nonlineární 5-bodový algoritmus přináší až 10 řešení Invitation to 3D vision

  39. 3D rozpoznání struktury • odstranění jedné váhy • Řešení soustavy Pokud je konfigurace nekritická, může být euklidovská struktura bodů a pohyb kamery rekonstruována až na univerzální konstantu Invitation to 3D vision

  40. Příklad – Dva obrazy Přiřazení odpovídajících si bodů Invitation to 3D vision

  41. Příklad – epipolární geometrie Pozice kamery a umístění bodů v prostoru Invitation to 3D vision

  42. Obrazová korespondence Epipolárnígeometrie – Rovinná úloha • Rovina v souřadnicovém rámci první kamery Lineární zobrazení určující vztah mezi dvěma odpovídajícími body Invitation to 3D vision

  43. Rozložení H • Algebraická eliminace hloubky • může být odhadnuta lineárně • Úprava matice • Rozložení H na 4 řešení Invitation to 3D vision

  44. Více informací naleznete v anglickém jazyce na adrese: http://vision.ucla.edu/MASKS/ Závěr Invitation to 3D vision

More Related