1 / 25

Diplomarbeit : Überdeckungsfreie Fassadentexturen aus mehreren Nahbereichsfotografien

Fakultät Informatik Institut für SMT Lehrstuhl für Computergrafik & Visualisierung. Diplomarbeit : Überdeckungsfreie Fassadentexturen aus mehreren Nahbereichsfotografien. Dresden, 4.12.2009. Übersicht. Einführung Pipeline Details der Pipeline Ergebnisse Ausblick

emelda
Download Presentation

Diplomarbeit : Überdeckungsfreie Fassadentexturen aus mehreren Nahbereichsfotografien

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Fakultät Informatik Institut für SMT Lehrstuhl für Computergrafik & Visualisierung Diplomarbeit:Überdeckungsfreie Fassadentexturen aus mehreren Nahbereichsfotografien Dresden, 4.12.2009

  2. Übersicht • Einführung • Pipeline • Details der Pipeline • Ergebnisse • Ausblick • Fragen können während des Vortrags gestellt werden Verteidigung Thomas Nindel

  3. Einführung • Ziel: • Herstellen einer Fassadentextur aus mehreren unkontrollierten Nahbereichsfotos • Probleme: • Überdeckungen durch Flora, Fauna und menschengeschaffene Objekte • Unkontrollierte Aufnahmen einer unkalibrierten Kamera Verteidigung Thomas Nindel

  4. Einführung • Relevante Disziplinen • (Nahbereichs-) Fotogrammetrie • Computer Vision • Auswahl relevanter Arbeiten Zwischenpräsentation Thomas Nindel

  5. Einführung • Relevante Disziplinen • (Nahbereichs-) Fotogrammetrie • Computer Vision • Auswahl relevanter Arbeiten Zwischenpräsentation Thomas Nindel

  6. Einführung Kernschatten • Idee • Parallaxe von Überdeckungen zur Fassadenebene ausnutzen • Dazu notwendig: Registrierung  Korrespondenzproblem • Forderung: • hoher Automatisierungsgrad Verteidigung Thomas Nindel

  7. Pipeline & getroffene Annahmen • Annahmen über die Einzelbilder • Dominanz einer Fassadenebene • Dominanz horizontaler und vertikaler linearer Strukturen (z.B. Fenster, Türen) Verteidigung Thomas Nindel

  8. Aquise • Aufnahmebedingungen • Consumer-Kamera • Unkontrolliertheit • Geometrie unbekannt • Ort und Lage der Kamera unbekannt •  Notwendige Information muss Bildern selbst entnommen werden • Kamera nicht kalibriert  Verzeichnung • Beleuchtungseffekte (z.B. Schatten) „Gutes Wetter“ notwendig: bewölkt, hell, kein Niederschlag, Winter Verteidigung Thomas Nindel

  9. Rektifizierung • Ziel: Korrektur der Aufnahmeperspektive durch ermitteln der perspektivischen Transformation Fassadenebene  Filmebene • Manueller Ansatz: • Kontrollviereck  Gleichungssystem • Nachteil: hoher manueller Aufwand • Automatische Ansätze • MetricRectification (Einzelbilder  Fluchtpunkte) • Stereo-Rectification (Bildpaare Epipolargeometrie) Verteidigung Thomas Nindel

  10. Metrische RektifizierungProjektivAffin • Untergliederung von R² bezüglich Transformationen: projektiv>affin>metrisch • Spezialisieren durch Wiederherstellen von Invarianten • Erster Schritt: projektivaffin(Invariante: Parralelität) • Identifikation vertikaler und horizontaler Geraden (Annahme II) • Hough-Transformation • RANSAC • Ergebnis: Fluchtgerade Fluchtgerade Verteidigung Thomas Nindel

  11. Metrische Rektifizierung (2)AffinMetrisch • AffinMetrisch • Invarianten: Winkel, Längenverhältnisse • Haben: Vermeintlich horizontale und vertikale Geraden • Soll • Winkeltreue • Achsenparallelität •  Bekannte rechte Winkel ergeben Rotation und Scherung Verteidigung Thomas Nindel

  12. Registrierung • Ziel: Abbildung Pixel  Texel • Abbildung • Skalierung und Translation • Idee: Benutze Paare von Punktkorrespondenzen  Gleichungssystem • Korrespondenzproblem • Features identifizieren & vergleichbar machen (SIFT, SURF) • NearestNeighborSearch • Liefert überbestimmtes System mit Ausreißern  RANSAC, Least Squares • Ergebnis: 1..n Messwerte für jedes Texel Verteidigung Thomas Nindel

  13. Synthese der Texelwerte • Ziel: Gegen Ausreißer robuste Schätzung der Texelwerte • Ansätze • Implizit • Mittelwert • Gute Ergebnisse nur bei kleinem Ausreißeranteil • Schnell • Median • Robust bei <50% Ausreißern • Akzeptable Performance • Explizit • Clustering  Parameter? Verteidigung Thomas Nindel

  14. Inpainting • Ziel: Entfernen aller verbleibenden Überdeckungen • Herkunft: Bildrestauration • Forderungen: • Stil der Abbildung erhalten • ContinuityPrinciple: Fortsetzen von Kanten in den Füllbereichs • Propagieren der Farbe vom Rand in die entstandenen Flächen des Füllbereichs • Füllbereich mit Textur anreichern Verteidigung Thomas Nindel

  15. Inpainting-Verfahren Verteidigung Thomas Nindel

  16. Exemplar-Based Image-Inpainting • Bertalmio et. al., Microsoft Research • Probleme • Setzt Struktur nur linear fort • Performance • Lösungsideen: • Auf Füllbereich treffende Kanten zurückverfolgen, einander zuordnen und interpolieren • Einschränken des Suchbereichs für Best Exemplar durch Segmentieren des Quellbereichs Verteidigung Thomas Nindel

  17. Segmentbasiertes, exemplarbasiertesInpainting • Chih-Ting Hsu • Segmentiere Quellbild • Verbinde auf Rand des Füllbereichs treffende Segmentgrenzen • Ordne jedes entstandene Füllbereichssegment einem Quellbereichssegment zu • Segmentweise exemplarbasiertesInpainting Verteidigung Thomas Nindel

  18. Segmentbasiertes, exemplarbasiertesInpainting • Vorteile • Verbesserte Laufzeit (kleinerer Suchraum für Best Exemplar), Faktor 2 bis 10 • Kann Kurven im Füllbereich fortsetzen • Erfüllt Forderungen II, III und IV • Forderung III nun explizit erfüllt Verteidigung Thomas Nindel

  19. Segmentbasiertes, exemplarbasiertesInpainting • Grenzen • Sinnvolle Segmentierung des Quellbildes • Tradeoff: Größe Quellbereichssegmente  Performance/Best Exemplar • Mehrdeutigkeit der Zuordnung von Füllbereichssegmenten • Vorliegende Implementierung: Nur ein zusammenhängender, konvexer Füllbereich Verteidigung Thomas Nindel

  20. Umsetzung • Prototypische Implementierung jedes Einzelschrittes • Architekturmuster: Pipes & Filters • C++, OpenCV • Kommandozeilentools • Separation ofConcerns • Einfache Parallelisierung • Aus Bibliotheken wurde benutzt: SURF, Hough-Transformation, Least Squares, Segmentierung Verteidigung Thomas Nindel

  21. Ergebnis Verteidigung Thomas Nindel

  22. Ergebnis (2) Verteidigung Thomas Nindel

  23. Ausblick • Rektifizierung: Geradenerkennung mit Verfahren nach Schindler/Bauer verbessern • Segmentbasiertes Inpainting • Sinnvolle Segmentierung • Verallgemeinerung auf nicht-zusammenhängende, beliebig geformte Füllbereiche • Spezialisierung der Interpolation für Fassaden (bisher: allgemeine Bilder) • Kombination mit Verfahren nach Räckel Verteidigung Thomas Nindel

  24. Mein Dank gilt: • Prof. Gumhold für das spannende Thema • Marcel Spehr für die umfassende Betreuung • Prof. Kröppelin (Staatliche Studienakademie Dresden) für das Ermöglichen eines nebenberuflichen Studiums • Doreen Kuse, Marcus Novy für moralische und orthographische Unterstützung • Prof. Zipfel für Starthilfe Verteidigung Thomas Nindel

  25. Fragen/Demo/EOS • Fragen • Demo • Ende Verteidigung Thomas Nindel

More Related