1 / 48

HS – Computer Vision

HS – Computer Vision. Statische Stereoanalyse Daniel Stapf 09. Januar 2001. Inhalt:. Geometrie eines Aufnahmesystems Annahmen und Einschränkungen Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras Zusammenfassung.

ayala
Download Presentation

HS – Computer Vision

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001

  2. Inhalt: • Geometrie eines Aufnahmesystems • Annahmen und Einschränkungen • Intensitätsbasierte Korrespondenzanalyse • Merkmalsbasierte Korrespondenzanalyse • Stereoanalyse mit drei Kameras • Zusammenfassung

  3. Statische Stereoanalyse: • Betrachtung eines Objekts aus zwei Positionen • → Rückschluß auf Lage des Objekts im 3D-Raum • Voraussetzung: • keine Objekt- und Kamerabewegung • oder zeitgleiche Aufnahme der beiden Bilder • Verarbeitungsschritte: • Bildaufnahme • Kameramodellierung • Merkmalsextraktion • Korrespondenzanalyse • Tiefenwertbestimmung

  4. Geometrie Wiederholung aus Vortrag 1: f*X f*Y X x p = (x,y) = , , da = Z Z Z f

  5. Geometrie Standardstereogeometrie: P(X,Y,Z) wird in 2 korrespondierende Punkte projiziert: → plinks = prechts = f*X f*Y f*(X-b) f*Y , , Z Z Z Z

  6. Geometrie Standardstereogeometrie: Disparität (d): Euklidscher Abstand zwischen zwei korrespondierenden Punkten plinks(xl,yl) und prechts(xr,yr) → d = xlinks – xrechts d = (xlinks - xrechts)2 + (ylinks - yrechts)2 f*(X-b) f*X da xlinks = und xrechts = Z Z f*X f*(X-b) (*) = → Z = xlinksxrechts

  7. Geometrie Standardstereogeometrie: b* xlinks (Auflösen nach X) → X = xlinks - xrechts b* f (Einsetzen in (*)) → Z = xlinks - xrechts b* y Z* y → Y = (Y = ) xlinks - xrechts f → Disparität ist zu messende Größe, um 3D-Position des Szenenpunkts zu schließen. → Korrespondenzproblem

  8. Geometrie 1. Stereobildaufnahmesystem:

  9. Geometrie Koordinatensystem XLYLZL: Rotationsmatrix: Translation: =

  10. Geometrie Analog Koordinatensystem XRYRZR: = Abbildungen (xLyL) und (xRyR): cos(θ)*(X + ½b) - sin(θ)*Z f * XR xR = = f ZR sin(θ)*(X + ½b) + cos(θ)*Z Y f * YR yR = = f ZR sin(θ)*(X + ½b) + cos(θ)*Z xL und yL analog

  11. Geometrie Umformen der 4 Gleichungen ergibt: [-xLsin(θ) – f cos(θ)]* X + [xLcos(θ) – f sin(θ)]* Z = -[½b xLsin(θ) + ½b f] [xRsin(θ) – f cos(θ)]* X + [xRcos(θ) + f sin(θ)]* Z = -[½b xRsin(θ) - ½b f] [-yL sin(θ)]* X + [-f ]* Y + [yL cos(θ)]* Z = [½b yLsin(θ)] [yR sin(θ)]* X + [-f ]* Y + [yR cos(θ)]* Z = - [½b yRsin(θ)] In Koeffizientenschreibweise: a1X + a3Z= a0 b1X + b3Z= b0 c1X + c2Y + c3Z= c0 d1X + d2Y + d3Z = d0 Koordinaten (X,Y,Z) lassen sich durch arithmetische Umformungen berechnen

  12. Geometrie Epipolare Geometrie:

  13. Annahmen und Einschränkungen • Problem: • Mehrdeutigkeiten bei der Korrespondenzsuche • Lösung: • Reduzierung der Mehrdeutigkeiten durch • Geometrische Einschränkungen • (resultieren aus der Bildentstehung) • Einschränkungen durch Objekteigenschaften • → keine Einschränkung an die Komplexität der • Objektgeometrie

  14. Annahmen und Einschränkungen • Geometrische Einschränkungen: • 1. Epipolareinschränkung: • Punkt im linken Bild, kann nur mit Punkt im rechten • Bild korrespondieren, wenn jener auf Epipolarlinie • liegt • → Suchraum ist Eindimensional • Problem: Erschütterungsproblematik, • Spezialfall: Standardstereogeometrie (künstliche Objekte) Positionierungsgenauigkeit → Sicherheitsintervall

  15. Annahmen und Einschränkungen • Geometrische Einschränkungen: • 2. Eindeutigkeit der Zuordnung: • Jedes Pixels eines Bildes korrespondiert nur mit genau • einem Pixel des anderem Bildes • Ausnahme möglich: • wenn zwei Punkte auf Sichtstrahl der einen Kamera • liegen, jedoch Punkte auf anderem Kamerabild • getrennt sichtbar

  16. Annahmen und Einschränkungen • Geometrische Einschränkungen: • 3. Verträglichkeit von Intensitätswerten: • Zwei Punkte (xL,yL) und (xR,yR) können nur dann • korrespondieren, wenn |EL(xL,yL) – ER(xR,yR)| • klein ist • In der Praxis: • Einbeziehung von Intensitätswerten in der Nachbarschaft • eines Pixels, um Störanfälligkeit zu reduzieren • Problemfälle: • Glanzlichter • Diskretisierungsfehler

  17. Annahmen und Einschränkungen • Geometrische Einschränkungen: • 4. Geometrische Ähnlichkeit der Merkmale: • Winkelkriterium: • Liniensegment SL korrespondiert mit SR nur, wenn • |WL – WR| klein ist • Längenkriterium: • Liniensegment SL korrespondiert mit SR nur, wenn • |LL – LR| klein ist

  18. Annahmen und Einschränkungen • Einschränkungen durch Objekteigenschaften: • 1. Kontinuität der Disparitäten: • Wenn zwei Punkte (xL,yL) und (xR,yR) im linken bzw. • rechten gefilterten Bild korrespondieren, können • (xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn • | (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2| • klein ist • [ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ] • Spezialfall Standardstereogeometrie: • ||xL1 – xR1| - |xL2 – xR2||

  19. Annahmen und Einschränkungen • Einschränkungen durch Objekteigenschaften: • 2. Kontinuität entlang der Kanten: • Wenn zwei Kantenpunkte (xL,yL) und (xR,yR) im linken • bzw. rechten gefilterten Bild korrespondieren, können • (xL2,yL2) und (xR2,yR2) nur dann korrespondieren, wenn • | (xL1 – xR1)2 + (yL1 – yR1)2 - (xL2 – xR2)2 + (yL2 – yR2)2| • klein ist • [ (xL2,yL2) und (xR2,yR2) sind Nachbarpunkte ] • Spezialfall Standardstereogeometrie: • ||xL1 – xR1| - |xL2 – xR2||

  20. Annahmen und Einschränkungen • Einschränkungen durch Objekteigenschaften: • 3. Verträglichkeitsannahme von Merkmalen: • Merkmale in verschiedenen Bildern können nur dann • korrespondieren, wenn beide Merkmale die gleiche • physikalische Ursache haben Beispiel Kanten:

  21. Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: • Orientierungskanten • Reflexionskanten • Beleuchtungskanten

  22. Annahmen und Einschränkungen • Einschränkungen durch Objekteigenschaften: • 4. Disparitätslimit • Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens • für korrespondierende Punkte existiert ein maximaler • Disparitätswert dmax: • → (xL – xR)2 + (yL – yR)2 < dmax • → Mindestabstand der Objekte gefordert • Spezialfall Standardstereogeometrie: • |xL – xR| < dmax

  23. Annahmen und Einschränkungen • Einschränkungen durch Objekteigenschaften: • 5. Disparitätsgradientenlimit: • Definition des Disparitätsgradienten (Mayhew/Frisby): • Seien aR, aL und bR, bL korrespondierende Punkte Differenz der Disparitäten Disparitätsgradient = zyklopische Separation Differenz der Disparitäten = |ΔxL – ΔxR|

  24. Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: Zyklopische Separation : Definition: Abstand der Mittelpunkte zwischen den beiden Punktpaaren ¼(ΔxL – ΔxR)2 + Δy2 →

  25. Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit (Fortsetzung): Formel für Disparitätsgradienten (Γd ): |ΔxL – ΔxR| Γd = ¼(ΔxL – ΔxR)2 + Δy2 Zwei benachbarte Punktpaare korrespondieren nur dann, wenn der Disparitätsgradient nicht einen Maxwert über- schreitet: → Γd < Γmax

  26. Annahmen und Einschränkungen Einschränkungen durch Objekteigenschaften: 6. Reihenfolge der abgebildeten Punkte: Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet abgebildet

  27. Korrespondenzanalyse • Intensitätsbasierte Korrespondenzanalyse: • Annahme, korrespondierende Punkte haben ähnlichen • Intensitätswert • → Problem: nicht ausreichend für eindeutige Zuweisung • Beispiel: 640x480 Bildpunkte bei 256 Graustufen • → 307200 Pixel insgesamt • → min. 1200 Pixel mit gleichen Intensitätswert • Lösung: Blockbildung mehrerer benachbarter Pixel zu • einem Block (Bsp. 8x8)

  28. Korrespondenzanalyse • Block-Matching-Verfahren: • Ähnlichkeitsvergleich der Intensitätswerte zweier • Blöcke der Größe n x m • Annahme, alle Pixel in einem Block haben gleichen • Disparitätswert • Verarbeitungsschritte: • Unterteilung eines Bildes in feste Anzahl von Blöcken • Suche nach korrespondierenden Block im anderen Bild • nur für bestimmte Blöcke (Disparitätslimit)

  29. Korrespondenzanalyse Block-Matching-Verfahren: Ähnlichkeitsmaß zweier Blöcke (mittlere quadratische Abweichung MSE) → Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion Im Fall mehrerer Minima der MSE-Funktion: → Heranziehen der Kontinuitätsannahme für Disparitäten Ergebnis: → Disparitätenmatrix 1 n-1 m-1 MSE(x,y, Δ) = Σ Σ |ER(x+i,y+j) – EL(x+i+Δ,y+j)|2 nm i=0 j=0

  30. Korrespondenzanalyse • Block-Matching-Verfahren: • Problem dieses Verfahrens: • homogene Regionen • regelmäßige Texturen • Beste Qualität bei n = m = 8 Bildpunkten • Verfeinerung des Verfahrens nach T. Reuter: • Anwendung des Medianoperator auf Disparitätenmatrix • Pixelselektion • Anwendung des Medianop. auf Disparitätswerte der Pixel

  31. Korrespondenzanalyse • Pixel-Selektion: • Medianop. auf Blockdisparitäten einer 3x3 Umgebung • Berechnung der Disparität für jedes Pixel (x‘,y‘) • unter Verwendung der Disparitätswerte der 9 Blöcke: DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1..9 → Disparitätswert für P(x‘,y‘) ist D(k) mit minimalen DIFF(k) • Medianop. Auf Disparitätswerte der Pixelselektion • Bemerkung: • Pixelselektion auf jeden Pixel → dichte Disparitätenkarte

  32. Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: RGB-Raum: D1(F1,F2) = (r1 – r2)2 + (g1 – g2)2 + (b1 – b2)2 D2(F1,F2) = |r1 – r2| + |g1 – g2| + |b1 – b2| D3(F1,F2) = |r1 – r2|2 + |g1 – g2|2 + |b1 – b2|2 D4(F1,F2) = max{|r1 – r2|, |g1 – g2|, |b1 – b2|2 } R G B r = g = b = R + B + G R + B + G R + B + G

  33. Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: HSI-Raum: F1 = (H1,S1,I1) und F2 = (H2,S2,I2) D5(F1,F2) = (dI)2 + (dC)2 dI = |I1 – I2| und dC = S12 + S22 – 2S1S2 cos(θ) |H1 – H2| falls |H1 – H2| ≤ π 2π - |H1 – H2| falls |H1 – H2| > π θ =

  34. Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: Analog zu „normalen“ Block-Matching: 1 n-1 m-1 MSEFarbe(x,y, Δ) = Σ Σ De(CR(x+i,y+j) – CL(x+i+Δ,y+j)) nm i=0 j=0 • DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1..9 • Bemerkungen: • Qualität der Lösung ist abhängig von Anzahl der Farben • Bei unbunten Farben, keine Verbesserung • Einblenden von Mustern

  35. Korrespondenzanalyse • Merkmalsbasierte Korrespondenzanalyse: • bsp. Anhand Orientierung/Länge von Kanten • Vorteile gegenüber intensitätsbasierte Analyse: • geringerer Mehrdeutigkeiten, da weniger Kandidaten • Stereozuordnung ist weniger sensitiv • genauere Berechnung der Disparitäten möglich

  36. Korrespondenzanalyse • Histogrammbasierte Korrespondenzanalyse: • (Verfahren nach Y. Shirai und Y. Nishimoto 1985) • LoG-Operator für Merkmalsextraktion • mit σ1 = 1,41, σ2 = 3,18 und σ3 = 6,01 • → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse • → ZC wird als Einheitsvektor e(o) (i,j) definiert • Korrespondenzkandidaten sind Paare von ZC‘s in rechten • und linken Bild, deren Richtungsunterschied < 30° ist • → Zuordnungsfunktion ML (i,j;d) und MR (i+d,j;d): 1, wenn eL(i,j) eR(i+d,j) korrespondieren 0, sonst ML = MR =

  37. Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Beschränkung der Anzahl möglicher Zuordnungen durch Häufigkeitstabelle der möglichen Disparitäten (GDH): Σ MR (i,j;d) GDHR (d) = (GDHL (d) analog) Σ |eR(i,j)| → Annahme, richtige Zuordnungen treten gehäuft auf Aufgrund dieser Annahme werden Disparitätskandida-tenintervalle bestimmt: Iα = { d | GDHR (d) > a*H }

  38. Korrespondenzanalyse • Histogrammbasierte Korrespondenzanalyse: • Bestimmung lokaler Disparitätskandidaten anhand LDH‘s: • LDH = Häufigkeitstabelle aller in Disparitäten innerhalb • eines Fensters W = Nσ x Nσ: Nσ = 2 πσ Σ MR (i,j;d) LDHR (i,j;d) = (LDHL (d) analog) Σ |eR(i,j)| • Bestimmung des besten Kanals: • Kanal bei dem Differenz zwischen größten und zweit- • größten Wert den größten Wert annimmt, ist bester Kanal • → Zur Überprüfung des Kanals: Differenzfunktion Qx(i,j;dx)

  39. Korrespondenzanalyse • Histogrammbasierte Korrespondenzanalyse: • → QL(i,j;dL) und QR(i,j;dR) sind korrespond. Differenzen • → Zuordnung erfolgt, wenn QL und QR einen bestimmten • Wert überschreiten und dL ≈ dR • → wahrscheinliche Disparität: d* = ½(dL + dR) • Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ‘ (σ‘ < σ) bestimmt: • für alle möglichen Disparitäten d1..dn für ein ZC wird dk • ausgewählt, für das gilt: |dk - d*| < |de – d *| " 1 £ e £ n, e ¹ k und |dk - d*| < dc

  40. Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: → jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert → nach Bestimmung aller ZC‘s aus Wσ und Wσ‘ wird der der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet → Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeord- net wurden

  41. Korrespondenzanalyse • Histogrammbasierte Korrespondenzanalyse: • Verwendung von Farbinformationen: • analog zu Grauwertbildern • Hinzunahme eines weiteren Kriteriums: • Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr: • Drg (x,y) = r(x,y) – g(x,y) (andere analog) • → Vorzeichen der Differenzfarbgradienten sind für jedes • Spektrum für beide Kandidaten gleich δ δx (GAUSS* Drg)

  42. Stereoanalyse • Triokulare Stereoanalyse: • 3 Anordnungen gebräuchlich: • 1. Rechtwinklige komplanare Anordnung • Vorteil: • einfache Bestimmung der • Epipolarlinien • Nachteil: • Ausrichtung • Erschütterungsproblematik

  43. Stereoanalyse • Triokulare Stereoanalyse: • 3 Anordnungen gebräuchlich: • 2. kollineare Anordnung: • Vorteil: • einfache Epipolarlinien • Nachteil: • Ausrichtung • Erschütterungsproblematik • Mehrdeutigkeiten

  44. Stereoanalyse • Triokulare Stereoanalyse: • 3 Anordnungen gebräuchlich: • 3. „freie“ Anordnung • Vorteil: • Korrespondenzproblem kann • mit Geometrie gelöst werden • Nachteil: • Bestimmung der Epipolarlinien

  45. Stereoanalyse • Triokulare Stereoanalyse: • Zwei verschiedene Zuordnungsstrategien: • Pixel wird nur zugeordnet, wenn in allen Bildern eine • Korrespondenz bestimmt wurde • Pixel wird zugeordnet, wenn in mindestens zwei • Bildern eine Korrespondenz bestimmt wurde

  46. Stereoanalyse Triokulare Stereoanalyse: Beispiel anhand eines geometrischen Verfahrens:

  47. Zusammenfassung • Geometrie eines Aufnahmesystems • Annahmen und Einschränkungen • Intensitätsbasierte Korrespondenzanalyse • Merkmalsbasierte Korrespondenzanalyse • Stereoanalyse mit drei Kameras

  48. Vielen Dank für dieAufmerksamkeit –F r a g e n ?

More Related