Projektive Abbildung Videokamera

1. Projektive Abbildung Videokamera Perspektivisches Abbildungsmodell „Lochkamera-Modell“ ZK Z Sensor-Koord.-System S: x,y q y H Hauptpunkt Bildpunkt P x • Weltkoordinaten-Pixelkoordinaten • Weltkoordinaten-Kamerakoordinaten • Kamerakoordinaten-Sensorkoordinaten • Sensorkoordinaten-Pixelkoordinaten Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt ZPZ f Y ZO XO YPZ XPZ w YO X

2. Projektive Abbildung Videokamera Perspektivisches Abbildungsmodell ZK Z Sensor-Koord.-System S: x,y q Pixel- Koordina-tensystem: u,v y y H Hauptpunkt Bildpunkt P u x Kammerkonst. c XK Sensor-Koordinatensystem Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ x YK H Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt v ZPZ Objektpunkt O: Weltkoord. [XO,YO,ZO]T Kamerakoord. [XKO,YKO,ZKO]T Persp. Zentrum PZ: [XPZ,YPZ,ZPZj]T Bildpunkt P: [xP,yP]T Hauptpunkt H: [xH,yH]T f Y ZO XO YPZ XPZ w YO X

3. Projektive Abbildung Videokamera Perspektivisches AbbildungsmodellInterne Koordinatentransformation ZK Sensor-Koord.-System S: x,y Objektpunkt O in Kamerakoord.: [XKO,YKO,ZKO]T Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T 1. Projektion Kamera-Koord. in Sensor-Koord.mittels Strahlensatz: Projektion in homogenen Koordinaten: y H Hauptpunkt Bildpunkt P x Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK O Objekt-punkt

4. Projektive Abbildung Videokamera Perspektivisches AbbildungsmodellInterne Koordinatentransformation ZK Sensor-Koord.-System S: x,y y Objektpunkt O in Kamerakoord.: [XKO,YKO,ZKO]T Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T 2. Korrektur, wenn Hauptpunkt nicht inBildmitte: H Hauptpunkt Bildpunkt P x Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK O Objekt-punkt ZPZ

5. Projektive Abbildung Videokamera Pixel- Koordina-tensystem: u,v Perspektivisches AbbildungsmodellSensor-Pixel-Koordinatentransformation y uM u 3. Umrechnung Sensor-Koord.xP,yP in Pixel-Koord. u,v vM Sensor-Koordinatensystem x H Dy v Dx Die Bildmittelpunktskoordinaten uM und vM sowieDx und Dy sind aus den Angaben desSensorherstellers entnehmbar.

6. ZK Sensor-Koord.-System S: x,y y H Hauptpunkt Bildpunkt P x Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK O Objekt-punkt ZPZ Projektive Abbildung Videokamera Pixel- Koordina-tensystem: u,v Optische Detektoren Perspektivisches AbbildungsmodellKamera-Pixel-Koordinatentransformation y uM u Umrechnung Sensor-Koord. in Pixel-Koord. (in homogenen Koord.) vM Sensor-Koordinatensystem x H Dy v Dx Umrechnung Kamera-Koord. in Sensor-Koord.

7. Projektive Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell 4. Transformation Welt- in Kamera-Koord. ZK Z q Translation und Rotation Kamera-Koordinaten-System K: XK,YK,ZK XK PZ: PerspektivischesZentrum YK Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt ZPZ f Y ZO XO YPZ XPZ w YO X

8. Projektive Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell 4. Transformation Welt- in Kamera-Koord.Rotationsmatrix

9. Projektive Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell 4. Welt-Kamera-Koordinatentransformation ZK Z q Kamera-Koordinaten-System K: XK,YK,ZK In homogenen Koordinaten: XK YK Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt ZPZ f Y ZO XO YPZ XPZ w YO X

10. ZK Z Sensor-Koord.-System S: x,y q y H Hauptpunkt Bildpunkt P x Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt ZPZ f Y ZO XO YPZ XPZ w YO X Projektive Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell 5. Zusammensetzung zur Welt-Pixel-Koordinatentransformation

11. Projektive Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

12. Projektive Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene In homogenen Koordinaten: lineare Darstellung In kartesischen Koordinaten: nicht-lineare Darstellung

13. Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Allgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien Allgemeine projektive Transformation zwischen Ebenen: Nicht-linear, undef. wenn Nenner  Null:explizites Hinzufügen einer Linie mit Punkten im Unendlichen  Projektive EbeneLGS in homogenen Koordinaten y Objektebene Homographie H2 HomographieH1 h y´ x x Lochkamera1 Lochkamera2 h´ y‘‘ x‘‘ h‘‘ x‘‘ x´ x´ C2affin C1affin Nach: Robert T. Collins: Projective Reconstruction of Approximately Planar Scenes, Proc. SPIE 1839, pp. 174-185

14. v´´ v´ v´´ v´ Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Allgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien Einander entsprechende Punkte in irgendwelchen zwei Ebenen der Abbildungsind über eine Homographie verbunden. Ist die Abweichung der realen Kameravom Lochkameramodell linear, ist dasBild eine affine Transformation der reinenLochkamera-Abbildung. Gesamtabbildung: H1C1Affine Abb. Untergruppe von Homographie H1C1 ist ebenfalls Homographie. y Objektebene Homographie H2 HomographieH1 h y´ x x Lochkamera1 Lochkamera2 h´ y‘‘ h‘‘ x‘‘ x‘‘ x´ x´ C2affin C1affin

15. Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell für Ebenen: Homographien H0w: Homographie bildet Weltebene auf erste Bildebene ab. Hii-1: Homographien zwischen Bildern

16. Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell für Ebenen: Homographien Berechnung einer Homographie Skalierung, so dass h331 (h´ij=hij/h33), ausmultiplizieren, umstellen: Für N Punktepaare xi,hi und x´i, h´i 1<=i<=N ergibt sich LGS in Matrixschreibweise:

17. Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell für Ebenen: Homographien Berechnung einer Homographie: Vorgehen 1. Vorstufe: Datennormierung

18. Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell für Ebenen: Homographien Berechnung einer Homographie: Vorgehen 2. Berechnung der „normierten“ Homographie 3. „Denormierung“ der „normierten“ Homographie

19. Zwei-Ansichten-Abbildung Videokamera Optische Detektoren Perspektivisches Abbildungsmodell für Ebenen: Homographien Anwendung: Mosaicing

20. ZK Z Sensor-Koord.-System S: x, y q y H Hauptpunkt Bildpunkt P x Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt ZPZ f Y ZO XO YPZ XPZ w YO X Ebenen-basierte Bestimmung der Pose einer Kamera

21. Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie 1. Projektive Abbildung einer Ebene: Homographie Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

22. Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie 2. Bestimmung der Kammerkonstanten aus der Homographie mit xH=yH=u0=v0=0 Für die Spaltenvektoren der in enthaltenen Rotationsmatrix gilt wechselseitige Orthogonalität Bestimmung der Kammerkonstanten mit erster Orthogonalitätsbedingung

23. Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie 3. Bestimmung der Rotationsmatrix Spaltenvektoren der Rotationsmatrix sind Einheitsvektoren des gedrehten Koordinatensystems aus voriger Orthogonalitätsbedingung wobei Bestimmung von l so, dass Einsetzen von l und c aus weiterer Orthogonalitätsbedingung Bestimmung von

24. Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie 4. Bestimmung der Translation Die dritte Spalte der Homographiematrix lautet Mit c und l aus vorheriger Rechnung ist Translationsvektor bestimmt. Mit dem Translationsvektor und der Rotationsmatrix wird die Lage des persp. Zentrums berechnet.

25. n2 n1 Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera Normalen-vektor von E2 Seitengeraden des Rechtecks: Die Abbildung einer Geraden l1 geht durch PZ. Sie bildet damit eine Ebene E1, welche die Sensorfläche in einer Geraden l1´ schneidet. Ebenso ergeben sich E2 und l2´ für die paralleleGerade l2 der gegenüber liegenden Seite des Rechtecks. Die beiden Ebenen E1 und E2 schneiden sichin einer Geraden parallel zu l1 und l2, derenRichtungseinheitsvektor einer der Einheitsvek-toren des Marken-Koordinatensystems ist. steht senkrecht auf und ,bestimmt durchKreuzprodukt. wird durch die anderenSeitengeraden und und deren Ebenen mit und bestimmt: steht senkrecht auf und : Schnittgerade l´2zwischen E2 undSensorfläche Normalen-vektor von E1 ZK Z q Schnittgerade l´1zwischen E1 undSensorfläche H XK Schnittgerade zwi- schen E1 und E2 PZ YK Ebene E1 aufgespanntdurch l1 und PZ Ebene E2 aufgespanntdurch l2 und PZ Seitengerade l1des Rechtecks ZPZ f Y XPZ w YPZ Seitengerade l2des Rechtecks X Rechteck in Objektebene

26. n2 n1 Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera Normalen-vektor von E2 Bestimmung der Normalenvektoren: Die Abbildung l1´der Geraden l1 durch PZliegt ebenfalls in Ebene E1. Somit kann E1(d.h. ) durch Bestimmung von l1´ aus dem Bildmithilfe der internen KalibrierparameterHauptpunkt H und Kammerkonste c berech-net werden. Ebenso kann aus l2´ berechnet werden. Nach Segmentierung und z.B. Hough-Trans-formation: Geradengleichung für l1´in Bild-koordinaten Schnittgerade l´2zwischen E2 undSensorfläche Normalen-vektor von E1 ZK Z q Schnittgerade l´1zwischen E1 undSensorfläche H XK Schnittgerade zwi- schen E1 und E2 Pixel- Koordina-tensystem: u,v y PZ uM u YK Ebene E1 aufgespanntdurch l1 und PZ vM Ebene E2 aufgespanntdurch l2 und PZ Sensor-Koordinatensystem Seitengerade l1des Rechtecks x ZPZ H f Dy Y XPZ v Dx w YPZ Seitengerade l2des Rechtecks X Rechteck in Objektebene

27. Pixel- Koordina-tensystem: u,v y uM u vM Sensor-Koordinatensystem x H Dy v Dx Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera • Bestimmung der Normalenvektoren: • Transformation der Bildgeraden in das Kamera-Koordinatensystem: • Transformation vom Pixel- in das Sensor-Koordinatensystem • Transformation in das Kamera-Koordinatensystem: • Gleichung für Normalenvektor der Ebene durch l1´ und projektives Zentrum PZals Kreuzprodukt des Richtungsvektors der Geraden und Differenzvektor zwischenAufpunkt der Geraden und PZ:

28. Pixel- Koordina-tensystem: u,v y uM u vM Sensor-Koordinatensystem x H Dy v Dx Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera Bestimmung der Marken-Koordinatensystemachsen: Normalenvektoren der Ebenen durch parallele Markenberandungen l1 und l2 ergeben Koordinatenachse als Kreuzprodukt: Analoges Verfahren für zweites, zum ersten senkrechtes Parallelenpaar und der Rechteckmarke. Die dritte Achse ergibt sich aus dem Kreuzprodukt der beiden ersten Und damit die Rotationsmatrix der Marke gegenüber der Kamera

29. ZK Z Sensor-Koord.-System S: x, y q y H Hauptpunkt Bildpunkt P x Kammerkonst. c XK Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S PZ YK Welt-Koor-dinaten-system W:X, Y, Z O Objekt-punkt ZPZ f Y ZO XO YPZ XPZ w YO X Abbildungsmodelle Videokamera Optische Detektoren Perspektivisches AbbildungsmodellBestimmung der Modellparameter • Interne Parameter: • Hauptpunkt-Koordinaten xH, yH • Kammerkonstante: • c • Skalenfaktoren: • Dx, Dy. • Externe Parameter: • Weltkoordinaten des Perspektivischen Zentrums: • XPZ, YPZ, ZPZ • Drehwinkel zwischen Welt- und Kamera-Koordinatensystem:f, w, q

30. Kamerakalibrierung Videokamera • Bestimmung der Abbildungsparameter: Kalibrierung • Schätzung der Parameter auf Basis genau vermessener Szenenmerkmale (z.B. Kalibrierpunkte) und zugeordneter Bildmerkmale. • Menge von Modellparametern {p} • Menge der Punkte (Weltkoordinaten) der Szenenmerkmale durch Vermessung • Menge der Punkte (Bildkoordinaten) der Bildmerkmale durch Bildauswertung (automatisch oder interaktiv oder automatisch mit iterativer Verbesserung) • Damit Menge von Zuordnungen: • Bestimmung des optimalen Parametervektors p: Minimierung der Quadratabweichungen der Positionen der projizierten Szenenmerkmale von den Positionen der Bildmerkmale: Siehe Prof.Dr. Trommer: Praktikum Systemoptimierung,Versuch 7

31. Abbildungsmodelle Videokamera • Optische Detektoren • Modellierung von Abweichungen vom perspektivischen Abbildungsmodell • Korrekturterme zu • Erweiterung: • dx und dy können Verzeichnungen sein vom Typ • Radial symmetrisch dxsym • Radial asymmetrisch dxasy so dass dx = dxsym + dxasy + dxtan • Tangential dxtan und dy = dysym + dyasy + dytan

32. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Aberration Verzerrungen Radiale Vergrößerungsänderungen. Positive Verzerrung Negative Verzerrung Kissenförmige Tonnenförmige Verzeichnung Verzeichnung

33. Abbildungsmodelle Videokamera Optische Detektoren Modellierung von radial symmetrischen Abweichungen Modellierung durch ungeradzahliges Polynom: Wobei r der Bildradius ist: r² = x² + y². r0 ist der Nulldurchgang der Verzeichnungskurve. Somit erhält man für den radial symmetrischen Korrekturterm: Bei normalen Objektiven genügt ein Polynom mit zwei Koeffizienten. Einparametrige Alternative von Lenz: Verzeichnungsparameter K

34. Abbildungsmodelle Videokamera Modellierung von radial symmetrischen Abweichungen Beispiel

35. Abbildungsmodelle Videokamera Modellierung von radial asymmetrischen und tangentialen Abweichungen Mehrere Modellierungen Conrady: Zusätzliche Berücksichtigung einer nicht-ebenen Bildfläche (Brown): Für Videokameras genügt meist die Modellierung radial symmetrischer Abweichungen: [Lenz, Tsai] E10

36. Abbildungsmodelle Videokamera Effekt radial symmetrischer und tangentialer Abweichungen

37. Abbildungsmodelle Videokamera Modellierung von Affinität Unterschiedliche Pixelgröße in x- und y-Richtung dxaff = Sxy x und dyaff = 0

38. Pixel- Koordina- tensystem u Bildkoordinatensystem v Abbildungsmodelle Videokamera Abbildung der Bildpunkte auf Elemente der Grauwertmatrix: u = sx(x + N/2) v = sy( y + M/2) sx = Abtastfrequenz / (Pixeltakt*horiz. Pixelabstand) sy = 1 / vertikaler Pixelabstand Beispiel Parametervektor: Rotationswinkel äußere Orientierung Translation Kammerkonstante Hauptpunkt innere Skalierungsfaktoren Orientierung Verzerrungsfaktoren

39. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Dicke paraxiale Linse Hauptebenen TatsächlicherStrahlenpfad H H´ Zur Konstruktionbenutzter Pfad Bildebene Objektebene Abbildungskonstruktion: Strahl von P parallel zu opt. Achse bis H´, von H´ über F´ Strahl von P über F nach H, von H parallel zu opt. Achse -> Schnittpunkt P´ def. S´.

40. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Sphärische Aberrationen Strahlen mit unterschiedlichem Abstand vom Linsenzentrum haben unterschiedliche Brennweite

41. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Linsensysteme (Abbildungsoptik aus mehreren dicken Linsen) H11 H12 P1 P2 H21 H22 h H11 h H22

42. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Aberration Negatives Koma Die transversale Vergrößerung nimmt mit wachsender Strahlhöhe ab.

43. Objektebene KomaT KomaV Bildebene Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Aberration Positives Koma Je größer der Kreisdurchmesser auf der Linse, desto größer der Kreisdurchmesser in der Bildebene.

44. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Aberration Astigmatismus Die Brennweiten unterscheiden sich für die sagittale und für die meridionale Ebene. Meridionales Bild Kleinster Fehler Sagittales Bild Objekt- punkt

45. Optische Abbildung Videokamera Optische Detektoren Abbildungsprozess: Zusammenfassung primäre Aberrationen Aberration Radial (Unschärfe) Axial (fokale Verschiebung) Sphärische Aberration y³ y² Coma y²h Astigmatismus y h² h² Feldkrümmung y h² h² Verzerrung h³ h: Strahlhöhe, y: Apertur

46. Zwei-Ansichten-Abbildung Videokamera Relative Orientierung zweier Kameras P Objektpunkt-Welt PZ: perspektivisches Zentrum Kamera 1 p1: Bildpunkt von P in Kamera 1 PZ`: perspektivisches Zentrum Kamera 1 p2: Bildpunkt von P in Kamera 2 p1 p2 PZ PZ` R,t – 6 Parameter

47. Zwei-Ansichten-Abbildung Videokamera 3D – Koordinaten des Weltpunktes P Objektpunkt-Welt PZ: perspektivisches Zentrum Kamera 1 p1: Bildpunkt von P in Kamera 1 PZ`: perspektivisches Zentrum Kamera 1 p2: Bildpunkt von P in Kamera 2 p1 p2 PZ PZ` LGS für X,Y,Z

48. Zwei-Ansichten-Abbildung Videokamera 3D – Koordinaten des Weltpunktes P Objektpunkt-Welt PZ: perspektivisches Zentrum Kamera 1 p1: Bildpunkt von P in Kamera 1 PZ`: perspektivisches Zentrum Kamera 1 p2: Bildpunkt von P in Kamera 2 p1 p2 LGS für X,Y,Z PZ PZ` • Voraussetzungen: • Kameramodelle exakt bekannt • Bildkoordinaten der homologen Punkte bekannt

49. Zwei-Ansichten-Abbildung Videokamera Epipolargeometrie Objektpunkt-Welt P Bildebene Sensorfläche Epipolarlinien Bildebene Sensorfläche p` p p p` Epipole e e` PZ PZ` Basislinie

50. IdealeStereo-Anordnung Zwei-Ansichten-Abbildung Videokamera Zeilen der idealen Stereo-Anordnung (photogrammetrischer Normalfall): Ebenen, die sich in Basislinie schneiden Abbildung dieser Ebenen in realen Kameras: Epipolarlinien Perspektivisches ZentrumKamera1 Basislinie Ebenen, die sich in Basislinie schneiden Perspektivisches ZentrumKamera2