370 likes | 571 Views
Zielsetzung. Automatische Bildauswertung als Informationsquelle Automatisches Situationsverstehen zur Ableitung von Maßnahmen Zur Unterstützung des Menschen Aufmerksamkeitssteuerung Diagnoseunterstützung Quantitative Analyse Für autonome Systeme Missionsplanung
E N D
Zielsetzung • Automatische Bildauswertung als Informationsquelle • Automatisches Situationsverstehen zur Ableitung von Maßnahmen • Zur Unterstützung des Menschen • Aufmerksamkeitssteuerung • Diagnoseunterstützung • Quantitative Analyse • Für autonome Systeme • Missionsplanung • Regelung bei Missionsdurchführung • Beantwortung der Grundfragen • Wo befinde und wie bewege ich mich in Bezug auf meine Umgebung? (Navigation) • Welche Objekte (Art, Ort, Zustand) befinden sich in meiner Umgebung? (Objekterkennung) Computer Vision 2_Seite 1
Die Auswertungsaufgaben • Detektion im Bild • Lokalisierung in der Welt • Verfolgung • Identifikation • Analyse Computer Vision 2_Seite 2
Was nicht passieren sollte Computer Vision 2_Seite 3
Vorgehensweise • Automatische Informationsgewinnung aus Bildern und Bildfolgen • durch Messung der Bildinhalte (mittels Merkmalen) anhand von Modellen • Modelle beschreiben den Kontext und das Ziel der erforderlichen Informationsgewinnung. • Merkmale sind aus den Bilddaten gewonnene Elemente, die wesentliche Eigenschaften der Modellelemente enthalten. • Die Messung gibt Aufschluss über das Maß an Übereinstimmung von Bildelementen mit dem Modell. • Modellparameterschätzung: Maximierung des • Übereinstimmungsmaßes bezüglich Modellparameter • Klassifikation: Schwellwerte bezüglich des Übereinstimmungsmaßes • entscheiden über die Zuordnung zur Modellklasse. Computer Vision 2_Seite 4
Vorgehensweise Merkmalselektion, Modellauswahl Klassifikation der geschätzten Parameter Phys. Gesetze Expertensysteme Fuzzy Logic Lernende Klass. Merkmalsextraktion für Modelle Kanten, Ecken, Flecken,Texturmaße Verschiebungsvektorfelder, ... Parameterschätzung von expliziten und impliziten Modellen Änderungsdetektion Messung der räumlichen und zeitlichen Kohärenzen der geschätzten Parameter Sensorbewegungsmodell Objektbewegungsmodell Abbildungsmodell Objektmodell Semantische Beschreibung der Klassifikationsergebnisse und Kohärenzen Szenenmodell Szenendynamikmodell Computer Vision 2_Seite 5
Die Auswertungsaufgaben ! • Detektion im Bild • Lokalisierung in der Welt • Verfolgung • Identifikation • Analyse Computer Vision 2_Seite 6
Detektionsmechanismen Radiometrische Eigenschaften (sensornah) Fernes Infrarot (Temperatur) Radar (Rückstreuquerschnitt, MTI) ... Geometrische Eigenschaften Umrißlinien Signaturen ... Dynamische Eigenschaften Interne Objektdynamik Bewegungsmuster Computer Vision 2_Seite 7
Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fernes Infrarot (Temperatur) Beispiel Flugzeugdetektion in IR-Bildern (8-12 µm) Histogrammsegmentierung Hintergrund Objekt Anzahl Bildpunkte Helligkeit (Grauwert) Computer Vision 2_Seite 8
Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften SAR (Rückstreuquerschnitt) Beispiel: Landfahrzeuge in SAR-Bildern Rückstreuquerschnitt liefert auch andere Objekte als Landfahrzeuge (Clutterobjekte) Computer Vision 2_Seite 9
Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fernes Infrarot (Temperatur) Beispiel Landfahrzeuge in IR-Bildern 8-12 µm Honeywell- Linescanner • Helle Bereiche nicht repräsentativ für zu detektierende Objekte • Es werden auch andere Objekte detektiert . • Manche Objekte werden nicht detektiert. Computer Vision 2_Seite 10
Detektionsmechanismen Detektion mittels radiometrischer Eigenschaften Fazit Im einfachsten Fall sind die radiometrischen Objekteigenschaften vollkommen verschieden vom Hintergrund. Dann können so Objekte eindeutig detektiert werden. Hintergrundobjekte haben z.T. die gleichen radiometrischen Eigenschaften wie die Objekte. Dies führt zu Falschalarmen. Im schwierigsten Fall sind die radiometrischen Objekteigenschaften dem Hintergrund sehr ähnlich. Dann müssen entweder extrem hohe Falschalarmraten oder Fehldetektionen (misses) hingenommen werden. können so Objekte eindeutig detektiert werden. Abhilfe durch Zuhilfenahme geometrischer Merkmale Computer Vision 2_Seite 11
Originalbild Verarbeitung einer “Region of Interest” Detektionsmechanismen Detektion mittels geometrischer Eigenschaften Umrisse Computer Vision 2_Seite 12
Detektionsmechanismen Rechtwinkligkeit IR Linescanner Bild der CL 289 Relevante Bereiche Computer Vision 2_Seite 13
Detektionsmechanismen Detektion mittels geometrischer Eigenschaften Automatisch erlernte Signaturen • Trainingsdatensatz für das automatische Training eines Klassifikators. Flugzeugsignaturen, die vom Verfahrengelernt werden Hintergrundbilder, die vom Verfahren gelernt werden Computer Vision 2_Seite 14
Detektionsmechanismen Detektion mittels geometrischer Eigenschaften: Signaturen Anwendung: SAR-Flugzeugdetektor Anwendung auf nicht trainierte Bilder Computer Vision 2_Seite 15
Detektionsmechanismen Detektion mittels dynamischer Eigenschaften Interne Objektdynamik Beispiel: Sich bewegende Rotoren von Hubschraubern Computer Vision 2_Seite 16
Lokal geschätzte Flußvektoren Detektionsmechanismen Detektion mittels dynamischer Eigenschaften Hindernisdetektion mit optischem Fluß Computer Vision 2_Seite 17
Hindernisdetektion mit optischem Fluß Detektionsmechanismen • Klassifikation von Flußvektorendurch stochastischen Test: • - bewegt, • - stationär über Fahrbahnebene, • - auf Fahrbahnebene. Als bewegt klassifizierte Flußvektoren Computer Vision 2_Seite 18
Hindernisdetektion mit bewegungskompensiertem Differenzbild Detektionsmechanismen Bewegungskompensiertes Differenzbild Binarisierungsergebnis (Robert Bosch GmbH) Computer Vision 2_Seite 19
Die Auswertungsaufgaben N: 49.800067, E: 24.429837, h: 348996.5 • Detektion im Bild • Lokalisierung in der Welt • Verfolgung • Identifikation • Analyse Computer Vision 2_Seite 20
Lokalisierung in der Welt Wo in der Welt befinde ich mich selbst? Navigation durch Landmarken. Wo in der Welt befinden sich die im Bild detektierten Objekte? Geokodierung des Bildes. Computer Vision 2_Seite 21
Lokalisierung in der Welt Geokodierung des Bildes Beispiel: Bild mit Straßenkarte Straßen aus Vektorkarte: Anpassung mittels Flugdaten Automatische Feinkodierung Computer Vision 2_Seite 22
Lokalisierung in der Welt Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Aktuelle Schrägansicht Zuordnung durch Schätzung der Parameter der projektiven Transformation Orthophoto Flughafen Computer Vision 2_Seite 23
Lokalisierung in der Welt Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Merkmale im Schrägansichtsphoto Merkmale im Orthophoto Computer Vision 2_Seite 24
Lokalisierung in der Welt Navigation anhand von Landmarken Beispiel: INS-Rekalibrierung Referenzierungsergebnis: Transformation zwischen den Bildern In das Orthophoto projizierte Schrägaufnahme In die Schrägaufnahme projiziertes Orthophoto Computer Vision 2_Seite 25
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Autobahn/Landstraße Detektion und Verfolgung von Fahrspurbegrenzungen - markiert - unmarkiert Klassifikation von Fahrspurbegrenzungen Mehrspurdetektion Fortlaufende Güteüberwachung,ggf. Re-Initialisierung. Computer Vision 2_Seite 26
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Modellerzeugung der Landmarken • Tele ATLAS • Gerichtete Graphen • Jpoints • Lon, lat • Edges • Name • Class • Permissions Innenortsbereiche Computer Vision 2_Seite 27
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Modellerzeugung der Landmarken Ergebnis Computer Vision 2_Seite 28
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 29
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 30
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 31
Lokalisierung in der Welt Landmarken-Navigation anhand Fahrspurbegrenzung Computer Vision 2_Seite 32
Die Auswertungsaufgaben • Detektion im Bild • Lokalisierung in der Welt • Verfolgung • Identifikation • Analyse Computer Vision 2_Seite 33
Verfolgung Folge von Prädiktion und Detektion (Messung) Merkmalstracker Modelltracker Weitere: - Korrelationstracker - Umrisstracker (Snakes) Computer Vision 2_Seite 34
Die Auswertungsaufgaben „Space Shuttle“ • Detektion im Bild • Lokalisierung in der Welt • Verfolgung • Identifikation • Analyse Computer Vision 2_Seite 35
Identifikation Typbestimmung mittels Bildmerkmalen Binari-sierung MerkmalextraktionKlassifikatortraining, Klassifikator, mit Merkmal- datenbank Klassifikationsvor-schläge: Boing 737: 0.279 A320 : 0.599.... Binari-sierung Merkmalextraktion,Klassifikation Computer Vision 2_Seite 36
Identifikation Typbestimmung durch Anpassung von CAD-Modellen Anpassung eines jeden Modells bezüglich Position und Winkellage an die Objektkanten im Bild. Restfehler: Ähnlichkeit Das Modell mit dem kleinsten Restfehler identifiziert den Objekttyp. A310-300 B737-300 A300-600 Computer Vision 2_Seite 37