Geometric Vision: Recovering 3D Structure

1. Stereo Vision • Presented by: HadarElor

2. נתחיל בסגירת חוב...

3. מבוסס על השקפים של טל הסנר Geometric vision • Goal: Recovery of 3D structure • Structure and depth are inherently ambiguous from single views.

4. Geometric vision • Goal: Recovery of 3D structure • What cues in the image allow us to do this? Slide credit: Svetlana Lazebnik

5. Shading [Figure from Prados & Faugeras 2006]

6. Focus/defocus Images from same point of view, different camera parameters 3d shape / depth estimates [figs from H. Jin and P. Favaro, 2002]

7. Texture [From A.M. Loh. The recovery of 3-D structure using visual texture patterns. PhD thesis]

8. Perspective effects Image credit: S. Seitz

9. Motion Figures from L. Zhang http://www.brainconnection.com/teasers/?main=illusion/motion-shape

10. Estimating scene shape “Shape from X”: Shading, Texture, Focus, Motion… Stereo: shape from “motion” between two views infer 3d shape of scene from two (multiple) images from different viewpoints Main idea: scene point image plane optical center

11. Geometry for a Simple Stereo System • First, assuming parallel optical axes, known camera parameters (i.e., calibrated cameras): B. Leibe Slide credit: Kristen Grauman

12. World point Depth of p image point (left) image point (right) Focal length optical Center (right) optical center (left) baseline B. Leibe Slide credit: Kristen Grauman

13. Geometry for a Simple Stereo System • Assume parallel optical axes, known camera parameters (i.e., calibrated cameras). We can triangulate via: Similar triangles (pl, P, pr) and (Ol, P, Or): disparity B. Leibe Slide credit: Kristen Grauman

14. Disparity ועומק מרחק מהמצלמות (depth) הבדל במיקומי הנקודה בתמונות (disparity) מצלמות disparity

15. Depth From Disparity Image I(x,y) Disparity map D(x,y) Image I´(x´,y´) (x´,y´)=(x+D(x,y), y) B. Leibe

16. General Case With Calibrated Cameras • The two cameras need not have parallel optical axes. vs. B. Leibe Slide credit: Kristen Grauman, Steve Seitz

17. Stereo Correspondence Constraints • Given p in the left image, where can the corresponding point p’ in the right image be? B. Leibe Slide credit: Kristen Grauman

18. Stereo Correspondence Constraints • Given p in the left image, where can the corresponding point p’ in the right image be? B. Leibe Slide credit: Kristen Grauman

19. Stereo Correspondence Constraints B. Leibe Slide credit: Kristen Grauman

20. epipolar line epipolar line epipolar plane Stereo Correspondence Constraints • Geometry of two views allows us to constrain where the corresponding pixel for some image point in the first view must occur in the second view. • Epipolar constraint: Why is this useful? • Reduces correspondence problem to 1D search along conjugate epipolar lines. B. Leibe Slide adapted from Steve Seitz

21. Epipolar Geometry • Epipolar Plane • Baseline • Epipoles • Epipolar Lines Slide adapted from Marc Pollefeys

22. Example B. Leibe Slide credit: Kristen Grauman

23. For a given stereo rig, how do we express the epipolar constraints algebraically? B. Leibe

24. בניית המטריצה ההכרחית • נגדיר • עבור מטריצת סיבוב R, הקשר בין מיקום P במערכת הקואורדינטות השמאלית לימנית הוא: מישור אפּי-פולרי

25. Rotation Matrix Express 3d rotation as series of rotations around coordinate axes by angles Overall rotation is product of these elementary rotations: Slide credit: Kristen Grauman

26. בניית המטריצה ההכרחית • שלושת הוקטורים , ו- נמצאים על אותו המישור: המישורהאפיפולרי מישור אפּי-פולרי

27. Cross Product & Dot Product • Vector cross product takes two vectors and returns a third vector that’s perpendicular to both inputs. • So here, c is perpendicular to both a and b, which means the dot product = 0. Slide credit: Kristen Grauman

28. בניית המטריצה ההכרחית • שלושת הוקטורים , ו- נמצאים על אותו המישור: המישורהאפיפולרי • הוא וקטור הניצב למישור • מכאן: • היות ו- • אזי: • נציב במשואה ונקבל: מישור אפּי-פולרי

29. Matrix Form of Cross Product Slide credit: Kristen Grauman

30. בניית המטריצה ההכרחית • נשכתב באמצעות כפל מטריצות • נגדיר • ונקבל: • המטריצה E נקראת המטריצה ההכרחית(Essential Matrix) מישור אפּי-פולרי

31. המטריצה ההכרחית • היות ונקודות במישורי התמונות נתונות בקואורדינטותהומ', נחליף P ב- p (שכן זהות עד לכדי כפל בקבוע) • הואישר במישור התמונה הימנית אשר מובטח כי מכיל את הנקודה • E שימושית כאשר נתונות לנו קואורדינטות נקודות במישור התמונה. • לנו יש קואורדינטות פיקסלים בתמונה...

32. המטריצה היסודית • מטריצה היסודית Fundamental Matrix F • דומה באופייה למטריצה היסודית אך הפעם ו- בקואורדינטות פיקסלים • עבור ו- מטריצות פנימיות של שתי המצלמות • חישוב המטריצה היסודית באמצעות "אלג' שמונה הנקודות"

33. Fundamental matrix • Relates pixel coordinates in the two views • More general form than essential matrix: we remove need to know intrinsic parameters • If we estimate fundamental matrix from correspondences in pixel coordinates, can reconstruct epipolar geometry without intrinsic or extrinsic parameters Grauman

34. Computing F from correspondences Cameras are uncalibrated: we don’t know E or left or right Mint matrices Estimate F from 8+ point correspondences. Grauman

35. Computing F from correspondences Each point correspondence generates one constraint on F We can re-write as: Grauman

37. כיול מערכת סטראו So, where to start with uncalibrated cameras? Need to find fundamental matrix F and the correspondences (pairs of points (u’,v’) ↔ (u,v)). 1) Find interest points in image 2) Compute correspondences 3) Compute epipolar geometry 4) Refine Example from Andrew Zisserman

38. Stereo pipeline with weak calibration 1) Find interest points Grauman

39. Stereo pipeline with weak calibration 2) Match points only using proximity Grauman

40. Putative matches based on correlation search Grauman

42. עעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעעע