410 likes | 526 Views
Original. Merkmale aus Bildfolgen. Bildfolgen: statische Kamera Bewegte Kamera. Zeit. Zeit. Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster. Aufgaben: Eigenbewegungsschätzung
E N D
Original Merkmale aus Bildfolgen Bildfolgen: statische Kamera Bewegte Kamera Zeit Zeit • Aufgaben: • Detektion sich bewegender Objekte • Verfolgung sich bewegender Objekte • Objektklassifikation anhand Bewegungsmuster • Aufgaben: • Eigenbewegungsschätzung • Detektion sich bewegender Objekte • Verfolgung sich bewegender Objekte • Objektklassifikation anhand Bewegungsmuster 6_Informationsgewinnung_BildSeq Seite 1
Merkmale aus Bildfolgen Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden beschleunigte Bewegung: gekrümmte Kurven 6_Informationsgewinnung_BildSeq Seite 2
Merkmale aus Bildfolgen: 1. Änderungsdetektion Dynamik eines Bildpunktes Differenzbilder für statischen Hintergrund mitsich bewegenden Fahrzeugen 6_Informationsgewinnung_BildSeq Seite 3
Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche 6_Informationsgewinnung_BildSeq Seite 4
Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten 3D-Sobel-Oparator 6_Informationsgewinnung_BildSeq Seite 5
Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild 6_Informationsgewinnung_BildSeq Seite 6
Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Differenzbildverfahren: 1 1 0 1 -1 Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge 6_Informationsgewinnung_BildSeq Seite 7
Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Hintergrundschätzung: • Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ • Ein Pixel: g(t) g(t) g(t) t t t Konstant mit Rauschen Einmaliges Ereignis Ideal konstant g(t) g(t) t t Periodische Schwankung Langsame Veränderung 6_Informationsgewinnung_BildSeq Seite 8
Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Hintergrundschätzung: • Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ • Histogramm über M Bilder: H(g) H(g) H(g) ge g g g Konstant mit Rauschen Einmaliges Ereignis Ideal konstant H(g) H(g) g g Periodische Schwankung Langsame Veränderung Änderung, wenn HM(g) < HSchwelle 6_Informationsgewinnung_BildSeq Seite 9
H(g) g H(g) ... g Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Hintergrundschätzung: Vorgehensweise • Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ • Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): • Für jedes Pixel • 1. Histogramm über die M letzten Bilder • 2. Modellierung des Histogramms als Summe von Gaussfunktionen • 3. Aktueller Grauwert in Modell? • Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell • Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Letzte M Bilder aktuelles Bild Bewegungssegment-Bild In Modell In Modell ... Histogramm für jedes Pixel 6_Informationsgewinnung_BildSeq Seite 10
Merkmale aus Bildfolgen: 2. Bildstabilisierung • Bildfolgen: Kamera-Bewegungsschätzung • Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams • Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte.Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) • kleiner Öffnungswinkel und kleiner Drehwinkel Feste Szenengegenstände a Kamera-drehung f Bild Bild f Verschiebung Bildsensor u u´ = f tan(f+a) u = f tanf 6_Informationsgewinnung_BildSeq Seite 11
Merkmale aus Bildfolgen: 2. Bildstabilisierung • Bildfolgen: Kamera-Bewegungsschätzung • Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams • Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames2. Korrektur der TranslationBerechnung z.B. mittels FFT: ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: Dxmax, Dymax 6_Informationsgewinnung_BildSeq Seite 12
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“ • Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition t + Bild zur Zeit t Bild zur Zeit t+D t+D 6_Informationsgewinnung_BildSeq Seite 13
Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Prinzip t+D t+D t Suche im Bild zur Zeit t+D: An welcher Stelle „passt“ dasTemplate am besten? Suche beschränkt auf Suchbereichum Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+D, an derdas Template der Bildstruktur am Ähnlichsten ist. Ausschnitt aus Bild zur Zeit t: Template zur Suche imnächsten Bild 6_Informationsgewinnung_BildSeq Seite 14
t+D t Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Vorgehen • Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+D) gleicher Form und Größe von Bild zur Zeit t+D. • Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. • Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. • Ähnlichkeitsmaße: • Euklidische Distanz (Unähnlichkeit) • Kreuzkorrelation (Ähnlichkeit) 6_Informationsgewinnung_BildSeq Seite 15
Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Ähnlichkeitsmaße -Ki, -Kj +Ki, -Kj Template „Block“ Verschiebungen di und dj um Ursprungsposition i,j des Templates -Ki, +Kj +Ki, +Kj Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz: 6_Informationsgewinnung_BildSeq Seite 16
Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Auswahl geeigneter Blocks Behandlung des „Blendenproblems“: Abhilfe: Eckendetektor nach Harris und Stephens ? Beide Flußkomponenten (lokal) nur an „Grauwertecken“ zu schätzen! ! ? 6_Informationsgewinnung_BildSeq Seite 17
Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Auswahl geeigneter Blocks Abhilfe: Eckendetektor nach Harris und Stephens „Eckenhaftigkeits“maß E: Berechnung aus Strukturtensor S, wobei sich die Mittelung über ein lokales Fenster erstreckt,z.B. Faltung mit 3x3 Gauss. 6_Informationsgewinnung_BildSeq Seite 18
Merkmale aus Bildfolgen : 3. Bewegungsschätzung Grundlegende Idee des Harris und Stephens Detektors “unstrukturiertes” Gebiet: in keiner Richtung Änderung “Kante”: keine Änderung in Kantenrichtung “Ecke”: Wesentliche Änderungen in alle Richtungen 6_Informationsgewinnung_BildSeq Seite 19
Merkmale aus Bildfolgen: 3. Bewegungsschätzung Intensitätsänderung für eine Verschiebung [u,v] Fenster- funktion oder w(x,y) = Gauss 1 in Fenster, 0 außerhalb Bilineare Approximation für kleine Verschiebungen [u,v]: 6_Informationsgewinnung_BildSeq Seite 20
Merkmale aus Bildfolgen: 3. Bewegungsschätzung Intensitätsänderung E(u,v) im verschobenen Fenster: Eigenvektoren von S sind Achsen maximaler Varianz -> Eigenwertanalyse 1, 2 – Eigenwerte vonS Richtung niedrigster Änderung Richtung höchster Änderung Ellipse E(u,v) = const (min)1/2 (max)1/2 6_Informationsgewinnung_BildSeq Seite 21
Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels Eigenwerten von M: 2 (min)1/2 “Kante” 2 >> 1 (max)1/2 “Ecke”1 und 2 groß,1 ~ 2;E wächst nach allen Richtungen 1, 2 – Eigenwerte vonS Ellipse E(u,v) = const Abgeleitetes Eckhaftigkeitsmaß R: “Kante” 1 >> 2 “Flaches” Gebiet 1 (k – empirische Konstante, k = 0.04-0.06) 1 und 2 klein;E weitgehend konstant in allen Richtungen 6_Informationsgewinnung_BildSeq Seite 22
Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels “Cornerness” R: 2 “Kante” • R hängt nur von den Eigenwerten von M ab. • R ist stark positiv für eine Ecke • R ist stark negativ für eine Kante • |R| ist klein für ein unstrukturiertes Gebiet R < 0 “Ecke” R > 0 “unstr.” “Kante” |R| klein R < 0 1 6_Informationsgewinnung_BildSeq Seite 23
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Betrachte das „Grauwertgebirge“ eines Bildes: • „Kuppen“ und „Senken“ sind stabile Merkmale von Objekten • Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Grauwertbild „Grauwertgebirge“ 6_Informationsgewinnung_BildSeq Seite 24
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Am Boden einer Senke bzw. an der Decke einer Kuppe ist der Gradientenbetrag klein. 6_Informationsgewinnung_BildSeq Seite 25
iz - DiM , jz - DjM iz + DiM , jz - DjM iz, jz iz - DiM , jz + DjM iz + DiM , jz + DjM Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Alternative zu Gradientenbetrachtung: Monotonie-Operator (hier Kuppe) 6_Informationsgewinnung_BildSeq Seite 26
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Anwendung von Monotonie-Operatoren M-Operator-Blob 6_Informationsgewinnung_BildSeq Seite 27
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Entfernung von Rauschen und Beleuchtungsinhomogenitäten • Bandpass-Filterung Bandpass Betragsquadrat 6_Informationsgewinnung_BildSeq Seite 28
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Anwendung Monotonie-Operator auf bandpass-gefiltertes Bild Monotonie- Operator 6_Informationsgewinnung_BildSeq Seite 29
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Merkmale der Monotonie-Operator-Blobs: Hauptachsen Hauptachsen- Berechnung 6_Informationsgewinnung_BildSeq Seite 30
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Verfolgung der Blobs anhand der Merkmale t1: Blob-Hauptachsen t1: bandpass-gefiltert t2: bandpass-gefiltert t2: Blob-Hauptachsen 6_Informationsgewinnung_BildSeq Seite 31
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Grundsätzliche Annahme: • Pixel zur Zeit t+DT einer Bildsequenz wird modelliert als Pixel zur Zeit t, verschoben um einen Vektor (Dx, Dy)T: Konstanz der Beleuchtung. • Optischer Fluss: Finde ein Vektorfeld (Dx(x,y), Dy(x,y))T, das die opt. Fluss Gleichung löst. • Problem: Unterbestimmtheit • Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel: • Durchschnittlich 1024 Pixel/Grauwert. • Zusätzliche Einschränkungen nötig: • Glattheit des Flussfeldes • Kleine Flussvektoren 6_Informationsgewinnung_BildSeq Seite 32
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss Zusätzliche Einschränkungen: • Glattheit des Flussfeldes • Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung „optical flow constraint equation“ Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme) überbestimmtes Gleichungssystem Einschränkung: Dx und Dy klein genug für Abbruch der Taylor-Reihe.Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. g g(x0,t+Dt) Dg g(x0,t) t+Dt t x0 Dx x 6_Informationsgewinnung_BildSeq Seite 33
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss 6_Informationsgewinnung_BildSeq Seite 34
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss 6_Informationsgewinnung_BildSeq Seite 35
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Berechnungsvorschrift 6_Informationsgewinnung_BildSeq Seite 36
Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Behandlung der Beschränkung des Algorithmus auf Dx und Dy kleiner ein Pixel: • Erzeugung einer Gauss´schen Auflösungspyramide: • Flussschätzung beginnend in kleinster Auflösung Flussvektorfeld • Warping mit Flussvektorfeld • Flussschätzung mit gewarptem Bild in nächster Auflösung, Addition zum alten Flussvektorfeld 6_Informationsgewinnung_BildSeq Seite 37
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Weitere Methoden:Horn und Schunck: • Kombination von „optical flow constraint“ (wie bisher) und • Randbedingung „globale Glattheit“ (zusätzlicher Regularisierungsterm) • Minimierung von modifizierter Kostenfunktion: 6_Informationsgewinnung_BildSeq Seite 38
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Weitere Methoden:Zweite-Ordnung-Methoden, z.B. Nagel 6_Informationsgewinnung_BildSeq Seite 39
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss: Beispielberechnungen Bild 1 vertikale Flusskomponente Bild 13 horizontale Flusskomponente 6_Informationsgewinnung_BildSeq Seite 40
Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss: Beispielberechnungen Kamerawackeln Statische Kamera 6_Informationsgewinnung_BildSeq Seite 41