1 / 41

Merkmale aus Bildfolgen

Original. Merkmale aus Bildfolgen. Bildfolgen: statische Kamera Bewegte Kamera. Zeit. Zeit. Aufgaben: Detektion sich bewegender Objekte Verfolgung sich bewegender Objekte Objektklassifikation anhand Bewegungsmuster. Aufgaben: Eigenbewegungsschätzung

questa
Download Presentation

Merkmale aus Bildfolgen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Original Merkmale aus Bildfolgen Bildfolgen: statische Kamera Bewegte Kamera Zeit Zeit • Aufgaben: • Detektion sich bewegender Objekte • Verfolgung sich bewegender Objekte • Objektklassifikation anhand Bewegungsmuster • Aufgaben: • Eigenbewegungsschätzung • Detektion sich bewegender Objekte • Verfolgung sich bewegender Objekte • Objektklassifikation anhand Bewegungsmuster 6_Informationsgewinnung_BildSeq Seite 1

  2. Merkmale aus Bildfolgen Im Bildstapel ergeben Statische Objektpunkte senkrechte Geraden Sich bewegende Bildpunkte gleichförmige Bewegung: geneigte Geraden beschleunigte Bewegung: gekrümmte Kurven 6_Informationsgewinnung_BildSeq Seite 2

  3. Merkmale aus Bildfolgen: 1. Änderungsdetektion Dynamik eines Bildpunktes Differenzbilder für statischen Hintergrund mitsich bewegenden Fahrzeugen 6_Informationsgewinnung_BildSeq Seite 3

  4. Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten Interpretation einer Bildfolge Gt1(x,y), Gt2(x,y), ..., GtN(x,y) als dreidimensionales Feld G(x,y,t) Raum-Zeit-Kanten z.B. durch 3-D Sobel-Operator Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche 6_Informationsgewinnung_BildSeq Seite 4

  5. Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten 3D-Sobel-Oparator 6_Informationsgewinnung_BildSeq Seite 5

  6. Merkmale aus Bildfolgen: 1. Änderungsdetektion Bildfolgen: statische Kamera: Raum-Zeit-Kanten Raumkantenbild Grauwertbild Raum-Zeit-Kantenbild 6_Informationsgewinnung_BildSeq Seite 6

  7. Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Differenzbildverfahren: 1 1 0 1 -1 Empfindlich gegen Beleuchtungsänderung Rauschen Periodische Vorgänge 6_Informationsgewinnung_BildSeq Seite 7

  8. Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Hintergrundschätzung: • Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ • Ein Pixel: g(t) g(t) g(t) t t t Konstant mit Rauschen Einmaliges Ereignis Ideal konstant g(t) g(t) t t Periodische Schwankung Langsame Veränderung 6_Informationsgewinnung_BildSeq Seite 8

  9. Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Hintergrundschätzung: • Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ • Histogramm über M Bilder: H(g) H(g) H(g) ge g g g Konstant mit Rauschen Einmaliges Ereignis Ideal konstant H(g) H(g) g g Periodische Schwankung Langsame Veränderung Änderung, wenn HM(g) < HSchwelle 6_Informationsgewinnung_BildSeq Seite 9

  10. H(g) g H(g) ... g Merkmale aus Bildfolgen: 1. Änderungsdetektion • Bildfolgen: statische Kamera: Bewegungssegmentierung • Hintergrundschätzung: Vorgehensweise • Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“ • Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund): • Für jedes Pixel • 1. Histogramm über die M letzten Bilder • 2. Modellierung des Histogramms als Summe von Gaussfunktionen • 3. Aktueller Grauwert in Modell? • Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell • Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell Letzte M Bilder aktuelles Bild Bewegungssegment-Bild In Modell In Modell ... Histogramm für jedes Pixel 6_Informationsgewinnung_BildSeq Seite 10

  11. Merkmale aus Bildfolgen: 2. Bildstabilisierung • Bildfolgen: Kamera-Bewegungsschätzung • Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams • Annahmen: Translationen der Kamera vernachlässigbar, nur wenige sich in der Szene bewegende Objekte.Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel) • kleiner Öffnungswinkel und kleiner Drehwinkel Feste Szenengegenstände a Kamera-drehung f Bild Bild f Verschiebung Bildsensor u u´ = f tan(f+a) u = f tanf 6_Informationsgewinnung_BildSeq Seite 11

  12. Merkmale aus Bildfolgen: 2. Bildstabilisierung • Bildfolgen: Kamera-Bewegungsschätzung • Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams • Vorgehen: 1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames2. Korrektur der TranslationBerechnung z.B. mittels FFT: ... ... Dxmax Dymax Lage des Maximums der Kreuzkorrelationsfunktion: Dxmax, Dymax 6_Informationsgewinnung_BildSeq Seite 12

  13. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“ • Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition t + Bild zur Zeit t Bild zur Zeit t+D t+D 6_Informationsgewinnung_BildSeq Seite 13

  14. Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Prinzip t+D t+D t Suche im Bild zur Zeit t+D: An welcher Stelle „passt“ dasTemplate am besten? Suche beschränkt auf Suchbereichum Templatepos. im Bild z. Zeit t. Position im Bild zur Zeit t+D, an derdas Template der Bildstruktur am Ähnlichsten ist. Ausschnitt aus Bild zur Zeit t: Template zur Suche imnächsten Bild 6_Informationsgewinnung_BildSeq Seite 14

  15. t+D t Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Vorgehen • Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden Ausschnitt B(t+D) gleicher Form und Größe von Bild zur Zeit t+D. • Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der Ursprungsposition berechnet. • Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine Schätzung für die Blockbewegung. • Ähnlichkeitsmaße: • Euklidische Distanz (Unähnlichkeit) • Kreuzkorrelation (Ähnlichkeit) 6_Informationsgewinnung_BildSeq Seite 15

  16. Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Ähnlichkeitsmaße -Ki, -Kj +Ki, -Kj Template „Block“ Verschiebungen di und dj um Ursprungsposition i,j des Templates -Ki, +Kj +Ki, +Kj Normierte Kreuzkorrelation: Euklidischer Abstand: City-Block-Distanz: 6_Informationsgewinnung_BildSeq Seite 16

  17. Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Auswahl geeigneter Blocks Behandlung des „Blendenproblems“: Abhilfe: Eckendetektor nach Harris und Stephens ? Beide Flußkomponenten (lokal) nur an „Grauwertecken“ zu schätzen! ! ? 6_Informationsgewinnung_BildSeq Seite 17

  18. Merkmale aus Bildfolgen : 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • „Blockmatching“: Auswahl geeigneter Blocks Abhilfe: Eckendetektor nach Harris und Stephens „Eckenhaftigkeits“maß E: Berechnung aus Strukturtensor S, wobei sich die Mittelung über ein lokales Fenster erstreckt,z.B. Faltung mit 3x3 Gauss. 6_Informationsgewinnung_BildSeq Seite 18

  19. Merkmale aus Bildfolgen : 3. Bewegungsschätzung Grundlegende Idee des Harris und Stephens Detektors “unstrukturiertes” Gebiet: in keiner Richtung Änderung “Kante”: keine Änderung in Kantenrichtung “Ecke”: Wesentliche Änderungen in alle Richtungen 6_Informationsgewinnung_BildSeq Seite 19

  20. Merkmale aus Bildfolgen: 3. Bewegungsschätzung Intensitätsänderung für eine Verschiebung [u,v] Fenster- funktion oder w(x,y) = Gauss 1 in Fenster, 0 außerhalb Bilineare Approximation für kleine Verschiebungen [u,v]: 6_Informationsgewinnung_BildSeq Seite 20

  21. Merkmale aus Bildfolgen: 3. Bewegungsschätzung Intensitätsänderung E(u,v) im verschobenen Fenster: Eigenvektoren von S sind Achsen maximaler Varianz -> Eigenwertanalyse 1, 2 – Eigenwerte vonS Richtung niedrigster Änderung Richtung höchster Änderung Ellipse E(u,v) = const (min)1/2 (max)1/2 6_Informationsgewinnung_BildSeq Seite 21

  22. Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels Eigenwerten von M: 2 (min)1/2 “Kante” 2 >> 1 (max)1/2 “Ecke”1 und 2 groß,1 ~ 2;E wächst nach allen Richtungen 1, 2 – Eigenwerte vonS Ellipse E(u,v) = const Abgeleitetes Eckhaftigkeitsmaß R: “Kante” 1 >> 2 “Flaches” Gebiet 1 (k – empirische Konstante, k = 0.04-0.06) 1 und 2 klein;E weitgehend konstant in allen Richtungen 6_Informationsgewinnung_BildSeq Seite 22

  23. Merkmale aus Bildfolgen: 3. Bewegungsschätzung Klassifikation von Bildpunkten mittels “Cornerness” R: 2 “Kante” • R hängt nur von den Eigenwerten von M ab. • R ist stark positiv für eine Ecke • R ist stark negativ für eine Kante • |R| ist klein für ein unstrukturiertes Gebiet R < 0 “Ecke” R > 0 “unstr.” “Kante” |R| klein R < 0 1 6_Informationsgewinnung_BildSeq Seite 23

  24. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Betrachte das „Grauwertgebirge“ eines Bildes: • „Kuppen“ und „Senken“ sind stabile Merkmale von Objekten • Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke Grauwertbild „Grauwertgebirge“ 6_Informationsgewinnung_BildSeq Seite 24

  25. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Am Boden einer Senke bzw. an der Decke einer Kuppe ist der Gradientenbetrag klein. 6_Informationsgewinnung_BildSeq Seite 25

  26. iz - DiM , jz - DjM iz + DiM , jz - DjM iz, jz iz - DiM , jz + DjM iz + DiM , jz + DjM Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Alternative zu Gradientenbetrachtung: Monotonie-Operator (hier Kuppe) 6_Informationsgewinnung_BildSeq Seite 26

  27. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Anwendung von Monotonie-Operatoren M-Operator-Blob 6_Informationsgewinnung_BildSeq Seite 27

  28. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Entfernung von Rauschen und Beleuchtungsinhomogenitäten • Bandpass-Filterung Bandpass Betragsquadrat 6_Informationsgewinnung_BildSeq Seite 28

  29. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Anwendung Monotonie-Operator auf bandpass-gefiltertes Bild Monotonie- Operator 6_Informationsgewinnung_BildSeq Seite 29

  30. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Merkmale der Monotonie-Operator-Blobs: Hauptachsen Hauptachsen- Berechnung 6_Informationsgewinnung_BildSeq Seite 30

  31. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Verfolgung von Merkmalen • 2. Verfolgung von Monotonie-Operator-Blobs • Verfolgung der Blobs anhand der Merkmale t1: Blob-Hauptachsen t1: bandpass-gefiltert t2: bandpass-gefiltert t2: Blob-Hauptachsen 6_Informationsgewinnung_BildSeq Seite 31

  32. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Grundsätzliche Annahme: • Pixel zur Zeit t+DT einer Bildsequenz wird modelliert als Pixel zur Zeit t, verschoben um einen Vektor (Dx, Dy)T: Konstanz der Beleuchtung. • Optischer Fluss: Finde ein Vektorfeld (Dx(x,y), Dy(x,y))T, das die opt. Fluss Gleichung löst. • Problem: Unterbestimmtheit • Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel: • Durchschnittlich 1024 Pixel/Grauwert. • Zusätzliche Einschränkungen nötig: • Glattheit des Flussfeldes • Kleine Flussvektoren 6_Informationsgewinnung_BildSeq Seite 32

  33. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss Zusätzliche Einschränkungen: • Glattheit des Flussfeldes • Kleine Flussvektoren Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung quadratischer und höherer Glieder: Lokale Gleichung erster Ordnung „optical flow constraint equation“ Nicht an jedem Punkt lösbar, da zwei Unbekannte. Nimm gleiche Flussvektoren in kleiner Umgebung um Punkt (x,y) an (Glattheitsannahme)  überbestimmtes Gleichungssystem Einschränkung: Dx und Dy klein genug für Abbruch der Taylor-Reihe.Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel. g g(x0,t+Dt) Dg g(x0,t) t+Dt t x0 Dx x 6_Informationsgewinnung_BildSeq Seite 33

  34. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss 6_Informationsgewinnung_BildSeq Seite 34

  35. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss 6_Informationsgewinnung_BildSeq Seite 35

  36. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Berechnungsvorschrift 6_Informationsgewinnung_BildSeq Seite 36

  37. Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung Tiefpass-Filterung ¼ fmax 2-fache Unterabtastung Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Behandlung der Beschränkung des Algorithmus auf Dx und Dy kleiner ein Pixel: • Erzeugung einer Gauss´schen Auflösungspyramide: • Flussschätzung beginnend in kleinster Auflösung  Flussvektorfeld • Warping mit Flussvektorfeld • Flussschätzung mit gewarptem Bild in nächster Auflösung, Addition zum alten Flussvektorfeld 6_Informationsgewinnung_BildSeq Seite 37

  38. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Weitere Methoden:Horn und Schunck: • Kombination von „optical flow constraint“ (wie bisher) und • Randbedingung „globale Glattheit“ (zusätzlicher Regularisierungsterm) •  Minimierung von modifizierter Kostenfunktion: 6_Informationsgewinnung_BildSeq Seite 38

  39. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss • Weitere Methoden:Zweite-Ordnung-Methoden, z.B. Nagel 6_Informationsgewinnung_BildSeq Seite 39

  40. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss: Beispielberechnungen Bild 1 vertikale Flusskomponente Bild 13 horizontale Flusskomponente 6_Informationsgewinnung_BildSeq Seite 40

  41. Merkmale aus Bildfolgen: 3. Bewegungsschätzung • Bildfolgen: Bewegungsschätzung • Optischer Fluss: Beispielberechnungen Kamerawackeln Statische Kamera 6_Informationsgewinnung_BildSeq Seite 41

More Related