1 / 35

Wissensbasierte Interpretation multitemporaler Luftbilder

Wissensbasierte Interpretation multitemporaler Luftbilder. Promotionsvortrag 12. Januar 2001 Dipl.-Ing. Stefan Growe. Gliederung. Gliederung: Einleitung Multitemporale Bildinterpretation Bewertung von Alternativen Anwendungsbeispiel : Detektion eines Messegeländes Zusammenfassung.

lester
Download Presentation

Wissensbasierte Interpretation multitemporaler Luftbilder

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Wissensbasierte Interpretationmultitemporaler Luftbilder Promotionsvortrag 12. Januar 2001 Dipl.-Ing. Stefan Growe

  2. Gliederung Gliederung: • Einleitung • Multitemporale Bildinterpretation • Bewertung von Alternativen • Anwendungsbeispiel : Detektion eines Messegeländes • Zusammenfassung

  3. Auswertung multitemporaler Luftbilder für: • Umweltüberwachung und Landnutzungsanalyse • Aktualisierung von Karten und Geoinformationssystemen (GIS) • Große Datenmengen und aufwendige Datenerfassung: Automatisierung der Luftbildauswertung erforderlich Einleitung Luftbildauswertung: Anwendungsgebiete Zeit Landschaft 1991 1995

  4. Grünfläche Gebäude Segmentierung Interpretation Baustelle Weg Segmentiertes Bild SymbolischeSzenenbeschreibung Einleitung Probleme der automatischen Bildauswertung Luftbild • Problem: • Komplexität der Szene • perspektivische Verzerrungen, Schattenwürfe • fehlerhafte und unvollständige Segmentierungsergebnisse • Mangel an automatischen Interpretationsverfahren

  5. Erkennung von komplexen Objekten aufgrund einer charakteristischen zeitlichen Abfolge von Ereignissen/Zuständen Säen Pflügen Reifen Landwirtschaftliche Nutzfläche Ernten Einleitung Multitemporale Luftbildauswertung Interpretation zeitlich versetzt aufgenommener Luftbilder für: • Änderungsdetektion 1993 1997 1995

  6. Differenzbild  Einleitung Änderungsdetektion - Stand der Technik 1. Bild-zu-Bild-Verfahren, z.B. Differenzbild: 1993 1995 • Nachteil: • radiometrische und geometrische Entzerrung erforderlich • keine Aussage über die Art der Änderung

  7. Grünfläche Änderung Keine Änderung Gebäude Baustelle Klassifikation Änderungsbild  Klassifikation Einleitung Änderungsdetektion - Stand der Technik 2. Klassifikationsvergleich (Post Classification Comparison PCC): 1993 1995 • Nachteil: • stark abhängig von der Qualität der Einzelklassifikationen • separate Bildanalyse ohne Nutzung der zeitlichen Zusammenhänge

  8. Halle Halle Halle Wald Zeitdifferenz: 10 Tage Für die Automatisierung der multitemporalen Luftbildauswertung ist die Einbringung von Vorwissen erforderlich Einleitung Wissenseinbringung durch menschliche Auswerter Halle 01.01.2001 Halle ? Wald ? • Wissen über: • Geometrie • Topologie • Struktur • zeitlicheZusammenhänge 11.01.2001

  9. Wissensbasiertes System: Explizite Wissensrepräsentation Wissen Daten Szenenbeschreibung Steuerung Wissensbasiertes System Einleitung Wissenseinbringung in automatische Verfahren Algorithmus: Implizite Wissensrepräsentation Wissen&Steuerung Daten Szenenbeschreibung Algorithmus

  10. Einleitung Interpretation von Luftbildern - Stand der Technik Szenenanalyse AIDA SymbolischeSzenenbeschreibung Wissensbasis Symbolische Verarbeitung: Interpretation Sensorfusion Klärwerk Klärwerk-1 Gebäude Klärbecken Gebäude-1 Klärbecken-1 Geoinformations-system(GIS) Bildprimitive Erwartungen Sensordaten Segmentiertes Bild Bildverarbeitung: Segmentierung Klassifikation Wissensbasiertes Bildinterpretationssystem AIDA

  11. Wissensbasis Symbolische Szenenbeschreibung Semantische Ebene Semantische Ebene Klärwerk Klärwerk-1 [1..] [2..4] [1..5] Straße-1 Fluß-1 Klärbecken-2 Straße Fluß Klärbecken Gebäude Klärbecken-1 Gebäude-1 3D-Ebene 3D-Ebene Streifen-2 Streifen-1 Zylinder-2 Streifen Zylinder Polyeder Zylinder-1 Polyeder-2 2D-Ebene 2D-Ebene Linie-2 Linie-1 Kreis-2 Linie Kreis Polygon Linie-1 Linie-2 Kreis-1 Polygon-1 part-of con-of Hypothese Kreis-2 Instanz Position: (x y) Radius: 6 pxl Fläche: 113 pxl² Einleitung Semantisches Netz Klärwerk-1 Straße-1 Fluß-1 Streifen-1 Streifen-2

  12. Einleitung Leistungsmerkmale AIDA Mängel in Hinsicht auf eine multitemporale Bildinterpretation: • Keine Verwaltung von Zeitpunkten und Zeitdifferenzen • Keine Repräsentation von temporalem Wissen möglich • Keine Interpretationsstrategie für multitemporale Bildreihen Leistungsmerkmale von AIDA (gem. Tönjes): • Flexible Systemsteuerung durch explizite Inferenzregeln • Genutzte Wissensinhalte: • Struktur  Bestandteilshierarchie • Geometrie/Radiometrie  Konkretisierungen in 3D- und 2D-Ebene • Topologie  Topologische Relationen (Nachbarschaft etc.) • ggf. GIS-Daten als partielle Szenenbeschreibung • Fusion mehrerer Sensoren • Interpretation von multisensoriellen Bildern (Luftbild, IR, SAR)

  13. Einleitung Lösungsansätze Nutzung des Bildinterpretationssystems AIDA für eine multitemporale Luftbildauswertung: • Wissensbasierte Änderungsdetektion • Detektion komplexer Objekte aufgrund einer charakteristischen zeitlichen Abfolge von Ereignissen Notwendige Erweiterungen des Interpretationssystems: • Modellierung von temporalem Wissen innerhalb des semantischen Netzes • Interpretationsstrategie zur sequentiellen Analyse der multitemporalen Luftbilder unter Ausnutzung des temporalen Wissens Steigerung der Analyseeffizienz durch: • a-priori-Ausschluß von unmöglichen Landschaftsänderungen • Realisierung der Interpretationsstrategie „vom Wahrscheinlichen zum Unwahrscheinlichen“

  14. Gliederung Gliederung: • Einleitung • Multitemporale Bildinterpretation • Bewertung von Alternativen • Anwendungsbeispiel : Detektion eines Messegeländes • Zusammenfassung

  15. Messegelände ?! 1.3.2000 6.3.2000 11.3.2000 1.3.2000 11.3.2000 Multitemporale Bildinterpretation Detektion komplexer Objekte

  16. Grünfläche Gebäude Fahrzeuge AIDA Wissensbasierte Bildinterpretation AIDA Multitemporale Bildinterpretation • Bedeutungszuweisung • Bedeutungszuweisung • Prädiktion vonLandschaftsänderungen Bild t0 Bild t1 Bild t2 Szenen-beschreibung t1 Szenen-beschreibung t0 Szenen-beschreibung t1 Szenen-beschreibung t2 Szenen-beschreibung t0 • • • Ausnutzung der Erkenntnisse aus bereitsinterpretierten Bildern Multitemporale Bildinterpretation Sequentielle Analyse

  17. Zustand Si Zustandsübergang Tij Zustand Sj Bildmerkmale FSi Bildmerkmale FSj Anfangszeitpunkt Anfangszeitpunkt Dauer Dauer Dauer Wahrscheinlichkeit P(Si) Wahrscheinlichkeit P(Sj|Si) Wahrscheinlichkeit P(Sj) Zeit t Multitemporale Bildinterpretation Temporales Wissen • diskrete Objektzustände und Zustandsübergänge • Zustände werden spezifiziert durch: • charakteristische Bildmerkmale • Anfangszeitpunkt und Dauer • Wahrscheinlichkeit • Zustandsübergänge werden spezifiziert durch: • Dauer • Wahrscheinlichkeit • Modellierung ungenauer Zeitangaben durch Intervalle Modellierung von zeitlichen Zusammenhängen durch:

  18. Erweiterung der Knoten um: • Zeitstempel • Zustandsdauer und Anfangszeitpunkt • Zustandswahrscheinlichkeit • Einführung einer temporalen Relation mit: • Zustandsübergangsdauer und -wahrscheinlichkeit • Zustandsübergangsdiagramme erfüllen die Regeln von Markov-Ketten part-of con-of • • • • • • temp-rel P(Sj |Si ) [dmin dmax ] P(Si |Si ) P(Sj |Sj ) part-of tj [dmin dmax ] [t0,min t0, max ] P(Sj) ti [dmin dmax ] [t0,min t0, max ] P(Si ) con-of P(Si |Sj ) [dmin dmax ] Multitemporale Bildinterpretation Integration in AIDA • Repräsentation des temporalen Wissens im semantischen Netz in Form von Zustandsübergangsdiagrammen Konzept A Si Sj

  19. Messegelände Industriegebiet d: [1 1] P: 0,7 d: [1 1] P: 0,1 d: [1 1] P: 0,1 d: [1 1] P: 0,1 Messe inaktiv Messeaufbau Messeabbau Messe aktiv [3 ] [2 ] d: [0 365] t0: [0 ] P: 0,5 d: [2 5] t0: [0 ] P: 0,166 d: [5 10] t0: [0 ] P: 0,166 d: [5 8] t0: [0 ] P: 0,166 d: [1 1] P: 0,3 d: [1 1] P: 0,9 d: [1 1] P: 0,9 d: [1 1] P: 0,9 Keine LKWsneben Hallen LeereParkplätze VolleParkplätze LKWsneben Hallen Halle Parkplatz Rechtwinkliges 2D-Polygon Cluster vonparallelen Linien Menge von Rechtecken (innerhalb eines Suchraums) part-of con-of is-a temp-rel Multitemporale Bildinterpretation Beispiel: Messegelände Semantisches Netz zur Erkennung eines Messegeländes

  20. t1 t2 Zustand Si Zustand Si Min: Zustandsübergang Tij Zustand Sj Dauer Dauer Max: Zustand Sj Zeit t MaximaleRestdauer FrühesterAnfangszeitpunkt SpätesterEndzeitpunkt Multitemporale Bildinterpretation Wissensnutzung Prädiktion von Zustandsänderungen von t1 nach t2: Frage: Ist Sj zum Zeitpunkt t2ein möglicher Folgezustand von Si in t1? • Optimistische Abschätzung, um keine Lösung auszulassen • Ausschluß aller unmöglichen Lösungen Steigerung der Effizienz

  21. Messegelände-1 Messe inaktiv Messeaufbau Messe aktiv Messeabbau d: [0 365] P: 0,5 d: [5 10] P: 0,166 d: [5 8] P: 0,166 d: [2 5] P: 0,166 Messe inaktiv-2 Messe inaktiv-1 P: 0,7 Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 t2 = t1 +  t Messegelände-1 Messegelände-1 Messe inaktiv-1 Messeaufbau-1 Messe inaktiv-1 P: 0,3 Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 t2 = t1 +  t t1 Messegelände-1 Messe aktiv-1 Messe inaktiv-1 Hypothese P: 0,27 Instanz Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 Bewertung der Alternativen erforderlich t2 = t1 +  t Multitemporale Bildinterpretation Temporale Inferenz Modellgetriebene Prädiktion von Zustandsänderungen Messegelände 0,7 0,1 0,1 0,1 0,3 0,9 0,9 0,9  t = 9 Tage Ausschluß des unmöglichenFolgezustands „Messeabbau“ !

  22. Gliederung Gliederung: • Einleitung • Multitemporale Bildinterpretation • Bewertung von Alternativen • Anwendungsbeispiel : Detektion eines Messegeländes • Zusammenfassung

  23. P: 0,7 P: 0,7 P: 0,3 P: 0,3 Hypothese Instanz P: 0,27 P: 0,27 Bewertung von Alternativen Anforderungen Zweck: • Bevorzugte Untersuchung der vielversprechendsten Lösungsalternative Anforderungen an die Bewertung: • Maß für den Grad der Übereinstimmung zwischen den Erwartungen (aus der Wissensbasis) und den Messungen (in den Daten) • Berücksichtigung der Unsicherheit und Ungenauigkeit von Daten und Vorwissen • Strategie „Vom Wahrscheinlichen zum Unwahrscheinlichen“ Messegelände-1 Messe inaktiv-2 Messe inaktiv-1 t2 = t1 +  t Messegelände-1 Messegelände-1 Messeaufbau-1 Messe inaktiv-1 Messe inaktiv-1 t1 t2 = t1 +  t Messegelände-1 Messe aktiv-1 Messe inaktiv-1 t2 = t1 +  t

  24. identische Bewertung 0,9 0,9 Messegelände-1 Messegelände-1 Messe inaktiv-2 Messe inaktiv-1 Messeaufbau-1 Messe inaktiv-1 P: 0,7 1,0 P: 0,3 Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 1,0 Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 1,0 0,9 0,7 0,8 0,9 0,7 1,0 0,9 0,7 0,8 0,9 0,7 Identische Bewertung von Alternativen bewirkt zufällige Kandidatenwahl Bewertung von Alternativen Bisherige Bewertung Vorhandenes Bewertungssystem: • Berücksichtigung von Unsicherheit und Ungenauigkeit der Daten • Bewertung des semantischen Netzes durch Kombination von Einzelbewertungen bottom-up • Keine Berücksichtigung von a-priori-Wahrscheinlichkeiten

  25. Raucher P(Raucher)=1,0 kausaleUnterstützung TuberkuloseBEL(Tuberkulose) LungenkrebsBEL(Lungenkrebs) BEL(X) = P(X|e) e: Evidenz Bronchitis BEL(Bronchitis) diagnostischeUnterstützung Atemnot P(Atemnot)=1,0 Bewertung von Alternativen Bayes-Netze Neuartiger Ansatz: Bewertung mit Hilfe von Bayes-Netzen • Bayes-Knoten: diskrete Zufallsvariablen • Bayes-Kanten: kausale Abhängigkeiten (bedingte Wahrscheinlichkeiten) • Berechnung von Glaubwürdigkeiten BEL (engl.: Belief) für Bayes-Knoten Asienbesuch Raucher P(Raucher)=0,3 P(Lungenkrebs|Raucher) TuberkuloseP(Tuberkulose) LungenkrebsP(Lungenkrebs) Tuberkuloseoder Lungenkrebs Bronchitis P(Bronchitis) PositiverRöntgenbefund Atemnot P(Atemnot)=0,2

  26. A A B B C C D E F F G I H I Informationsfluß top-downund bottom-up Bewertung von Alternativen Propagierung in Bayes-Netzen Belief-Update nach Pearl: 1. Bayes-Netz im Gleichgewicht 2. Einbringung von Evidenz 3. Verteilung der Information top-down und bottom-up bis… 4. Gleichgewichtszustandwiederhergestellt

  27. neue Bewertung Bayes Netz Messe inaktiv-1 Messeaufbau-1 Messe inaktiv-1 Messeaufbau-1 P: 0,3 P: 0,3 Halle-1 Halle-1 Parkplatz-1 Halle-1 Halle-1 Halle-1 A Halle-1 Halle-1 Halle-1 Halle-1 Halle-1 Parkplatz-1 • • • • • • • • • • • • t2 = t1 +  t t2 = t1 +  t A A A A A A A • Transformation aller Instanzen u. Hypothesen • Transformation der Kanten • Abbildung der Attribute als Bayes-Knoten • Berechnung von Glaubwürdigkeiten unterBerücksichtigung der a priori Wahrscheinlichkeiten Wahrscheinlichste Alternative erhält die beste Bewertung Bewertung von Alternativen Vom sem. Netz zum Bayes-Netz Bewertungsmaß [0,0 1,0] bisherige Bewertung Semantisches Netz

  28. Gliederung Gliederung: • Einleitung • Multitemporale Bildinterpretation • Bewertung von Alternativen • Anwendungsbeispiel: Detektion eines Messegeländes • Zusammenfassung

  29. 1997 1995 1998 1993 Anwendungsbeispiel Messegelände Hannover Bilddaten: • 4 Datensätze1993-1998 • geocodiert • Auflösungspyramide 0,5-2,0 m/pxl • Höhendaten • Simulation eines Messezyklus durch Manipulation der Aufnahmedaten:1.3., 6.3., 11.3., 21.3.

  30. Anwendungsbeispiel Detektion von Hallen Kriterien: • Höhe • Form • Fläche • Nachbarschaft akzeptierterHallenkandidat abgelehnterHallenkandidat

  31. Anwendungsbeispiel Detektion von Parkplätzen Kriterien: • Liniendichte • Linienrichtung • Form des Clusters • Lage des Clusters:außerhalb der Hallenbereiche akzeptierterParkplatzkandidat abgelehnterParkplatzkandidat

  32. Spezialisierung Temporale Inferenz Temporale Inferenz Temporale Inferenz N2 Industriegebiet Messe inaktiv N7 Messe inaktiv Messegelände N3 N9 N11 Messe inaktiv Messe inaktiv Messeaufbau Messeabbau N8 Messeaufbau Messeaufbau N1 N4 N10 N12 Industriegebiet Industriegebiet Messeaufbau Messe aktiv Messe aktiv Messe inaktiv Messe aktiv N5 N13 Messe aktiv Messeabbau Messeaufbau Messeabbau N6 Messeabbau Messe aktiv Bild 2 D t = 5 Tage Bild 3 D t = 5 Tage Bild 4 D t = 10 Tage Erfolgreiche Detektion des Messegeländes Steigerung der Effizienz durch Reduktion des Suchraums Anwendungsbeispiel Interpretationsverlauf Messeabbau Bild 1

  33. - 39% theoretischeUntergrenze bisherige Bewertung neue Bewertung (Bayes-Netz) Deterministisches Systemverhalten mit gesteigerter Effizienz Anwendungsbeispiel Sucheffizienz Vergleich der Bewertungssysteme für mehrere Durchläufe:

  34. Zusammenfassung Ziel: Automatische Interpretation multitemporaler Luftbilder • unter Ausnutzung von Vorwissen über temporale Zusammenhänge • mit möglichst hoher Analyseeffizienz Ansatz: • Repräsentation von temporalem Wissen in Zustandsübergangsdiagrammen • Prädiktion von Landschaftsänderungen durch temporale Inferenz • Interpretationsstrategie „vom Wahrscheinlichen zum Unwahrscheinlichen“ mit Hilfe eines Bewertungssystems auf Basis von Bayes-Netzen Ergebnis: • Erfolgreiche Detektion komplexer Objekte aus multitemporalen Bildreihen • Bewertungssystem bewirkt deterministisches Systemverhalten mit gesteigerter Analyseeffizienz

  35. Vielen Dank für Ihre Aufmerksamkeit !

More Related