Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen

1. Generierung vonOmni-BildernTeil 1 – EntzerrungTeil 2 – WeißabgleichTeil 3 – Aneinanderfügen von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

2. Agenda • 1. Ergebnisse Entzerrung • 2. Probleme nach Entzerrung • Welche? Wodurch? Was tun? • 3. Weißabgleich • Wozu? Womit? Wie? Wann? • 4. Aneinanderfügen • 4.1 Ausrichten • 4.2 Überblenden • 5. Beispielserie • 6. Quellen

3. 1. Ergebnisse Entzerrung Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

4. 2. Probleme nach Entzerrung –Welche? • Fisheye-Algorithmus entzerrt horizontal und vertikal  Ergebnis: • perspektivische Information geht verloren Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

5. 2. Probleme nach Entzerrung – Was tun? • Neuer Entzerrungsalgorithmus [1]  nur horizontale Verzerrung korrigieren: • Perspektive bleibt erhalten • Vertikale Verzerrungen leider auch Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

6. 2. Probleme nach Entzerrung –Welche? • Probleme, entzerrte Bilder aneinanderzufügen • Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°) • Durch Verzerrungen Probleme mit Kanten an Bildrändern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

7. 2. Probleme nach Entzerrung –Welche? Probleme mit Kanten und Krümmungen an Bildrändern Phänomen in aufgenommenen Bildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

8. 2. Probleme nach Entzerrung –Wodurch? • Entzerrungsalgorithmus = Mathematik! • Verlangt absolute Genauigkeit • Jedoch Fehler durch • Ungenauigkeit Position/Ausrichtung der Linse • Ungenauigkeit Position/Ausrichtung CCD Chip • Ausrichtung des Roboter (unebener Untergrund) • Angewandte Formeln können daher keine perfekten Ergebnisse liefern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

9. 2. Probleme nach Entzerrung – Was tun? • Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren  über polynomiale Gleichungssysteme möglich, aber sehr aufwendig • Ausrichtung der Bilder vor Aneinanderfügen notwendig • Einzelbilder ineinander Überblenden, um Überlappungen zu beheben Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

10. 3. Weißabgleich – Wozu? • Durch unterschiedliche Beleuchtungssituationen •  unterschiedliche Farbtemperatur der Bilder Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

11. 3. Weißabgleich – Wozu? • Abgleich der Farbtemperaturen notwendig: • besserer visueller Eindruck • kräftigere Kontraste  bessere Detektion von Kanten o.Ä. • einheitlicher Bildeindruck nach Aneinanderfügen Gleiche Farbtemperaturen in beiden Teilbildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

12. 3. Weißabgleich – Womit? • Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden  in allen Bildern Cyan markierte Fläche für Referenzweiß Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

13. 3. Weißabgleich – Wie? • Ermitteln der Maximalwerte je Farbkanal im Referenzbereich  liefert Rmax, Gmax, Bmax • Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 • Berechnen der Korrekturfaktoren pro Farbkanal: Cr = Wr / Rmax Cg= Wg/ Gmax Cb= Wb/ Bmax Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

14. 3. Weißabgleich – Wie? • Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A: Ar =Cr* Er Ag=Cg*Eg Ab =Cb*Eb • Alle Pixel des Eingangsbildes durchlaufen und Korrektur anwenden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

15. 3. Weißabgleich – Wann? • Vor der Entzerrung  sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist • Durch Entzerrung  möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird Referenzfläche links im verzerrten und rechts im entzerrten Bild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

16. 3. Weißabgleich – Probleme? • Durch Überbelichtung viele Bildbereiche bereits weiß  Korrektur bringt nichts • Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild  Überblenden der Teilbilder nötig Überbelichtung irreversibel Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

17. 4. Aneinanderfügen • Ziele: • Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören • Überblenden der Pixel mit Minimum an sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting) Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

18. 4. Wie soll Ergebnisbild aussehen? • Nur einige Bilder sind zusammenzufügen • Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden • Wenn größeres Sichtfeld (>90 Grad) • jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren • auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

19. 4.1 Ausrichten • Ziel: • Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

20. 4.1 Ausrichten – Trivialer Ansatz • Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch: • Ausrechnen • Abmessen • Definieren • Bereich im Programm statisch festlegen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

21. 4.1 Ausrichten – Intelligente Algorithmen • Pixelbasierte Methoden • Bilder relativ zueinander verschieben • Größtmögliche Übereinstimmung der Pixel suchen • Direkter Vergleich von Pixeln oder Pixelblöcken • Methoden • Error Metrics • Hierarchical Motion Estimation • Fourier-BasedAlignment • IncrementalRefinement Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

22. 4.1 Ausrichten – Error Metrics • Durch Verschieben Platzierung der Bilder ermitteln • Jede Pixelkombination miteinander vergleichen • Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

23. 4.1 Ausrichten – Error Metrics • Beispiele: • Robust Error Metrics • SpatiallyVaryingWeights • Bias andGain • Korrelation Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

24. 4.1 Ausrichten – Hierarchical Motion Estimation • Erstellen einer „Image Pyramide“ • -> hierarchischer Vergleich von groben bis hin zu feinen Mustern/Blöcken • Innerhalb eines Levels: FullSearch • Block mit geringster Abweichung:Initialwert für nächstdarunterliegendes Level Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

25. 4.1 Ausrichten – Hierarchical Motion Estimation • Vorteil: • Viel schneller • Nachteil • Ineffektiv • Signifikante Bilddetails können verloren gehen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

26. 4.1 Ausrichten – Intelligente Algorithmen • Eigenschaftenbasierte Methoden • Beiden Bildern markante Eigenschaften entnehmen • Vergleichen • Übereinstimmungen ermitteln • -> geometrische Transformation der Bilder abschätzbar • Methoden • KeypointDetectors • Feature Matching • Geometric Registration Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

27. 4.1 Ausrichten – Intelligente Algorithmen KeypointDetectors Feature Matching Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

28. 4.2 Überblenden • Aufgabe • Belichtungsunterschiede und Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren • Übergang soll nahezu unsichtbar werden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

29. 4.2 Überblenden - Lösungsansätze • Laplace-Pyramiden-Überblendung • sich anpassende Breite anhand Frequenz (verschiedene Level) • Band-Pass Pyramide (Laplace) aus jedem Eingangsbild • Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

30. 4.2 Überblenden – Vergleich Lösungsansätze Mittelwert Region ofDifference Gewichtung (Feathering) Pyramiden-Überblendung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

31. 5. Beispielserie • Entzerrte Einzelbilder Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

32. 5. Beispielserie • Weißabgleich Einzelbilder Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

33. 5. Beispielserie • Ausrichten und Aneinanderfügen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

34. 5. Beispielserie • Blenden Guter Übergang Problem durch Aliasing Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

35. 6. Quellen • Weißabgleich: http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich http://de.wikibooks.org/wiki/ Digitale_bildgebende_Verfahren:_Digitale_Bilder# Wei.C3.9Fabgleich • Aneinanderfügen http://research.microsoft.com/pubs/70092/tr-2004-92.pdf • Quellen verfügbar unter: [1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen