Computer Vision Einführung und Grundbegriffe der 3D- Datenverarbeitung von Oliver Kammler

1. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Computer Vision Einführung und Grundbegriffe der 3D- Datenverarbeitung von Oliver Kammler Seminar „Mustererkennung in Bildern und 3D-Daten“ BTU Cottbus, Lehrstuhl Grafische Systeme SS 2004

2. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Inhalt 1. Einleitung 2. Warum ist die automatische Objekterkennung ein schwieriges Thema? 3. Motivation und Bedeutung 4. Klassifikation bestehender Systeme 5. Zerlegung eines Problems 6. Wichtige Aspekte der Objekterkennung 7. Aufnahmesysteme 8. Zusammenfassung 9. Literaturverzeichnis

3. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 1. Einführung Versuch, alle biologischen Prozesse technisch nachzubilden z.B. - menschlicher Bewegungsapparat - Sprache - Wahrnehmung Ziel: Es soll ein System geschaffen werden, das den menschlichen Wahrnehmungsprozess detailliert und naturgetreu nachbildet.

4. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Computer Vision/ maschinelles Sehen: „...beschäftigt sich mit den theoretischen und praktischen Grundlagen, mit denen nützliche Informationen über die Welt aus Bildern oder Bildsequenzen automatisch extrahiert und analysiert werden können...“ Wichtige Schritte: - extrahieren - charakterisieren - interpretieren

5. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Anwendungsgebiete: - Physiologie - Künstliche Intelligenz - Physik - Objekt- und Mustererkennung - Vermessungswesen Problem: Verständnis des menschlichen Wahrnehmungsvermögens

6. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 2. Warum ist automatische Objekterkennung ein schwieriges Problem? Die genauen Abläufe des menschlichen Sehens sind noch nicht vollständig analysiert. z.B. - Schwierigkeiten beim Nachbilden des Sehprozesses - Rotation des Auges - Stellung zum Objekt Folge: - Probleme beim Erstellen von exakten mathematischen Formulierungen - Finden von effizienten Algorithmen

7. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Durch die Psychologie haben wir ein grobes Verständnis von der Funktionsweise des menschlichen Gehirns. Die Nachbildung eines Gehirns ist sehr schwer. Grund: - Anzahl der Nervenzellen (10 Billionen) - komplizierte Vernetzung - Zusammenhang: Wahrnehmung, Denken und Wissen Schwierigkeit: Die vielfältigen Prinzipien des Sehens sind in dem erforderlichen Umfang nicht parallel abarbeitungsfähig. Abbildung 1: Beispiel für menschliche Wahrnehmung [2]

8. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 3. Motivation und Bedeutung Industrie: - Kontrolle z.B. - Plan-Ist-Qualitätskontrolle - visuelle Inspektion - Sicherheitskontrollen - Navigation z.B. - Roboternavigation - Navigation durch ein Gebiet anhand einer Planskizze Abbildung 2: Serviceroboter HERMES [2]

9. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Gesellschaft: - Medizin z.B. - Augenersatz - Operationshilfen - Kontrolle - Alltag z.B. - Hilfen für Haushalt Landschaftsbau Straßenverkehr ... Abbildung 3: Verkehrsbeobachtung [3]

10. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 4. Klassifizierung bestehender Computer-Vision-Systeme Module eines Computer-Vision-Systems: 1. Datenaufnahme, dieser Prozess liefert ein sichtbares Bild (pixelidentisches Grauwertbild) 2. Vorverarbeitung, beschäftigt sich mit Techniken der Reduktion (Rauschglättung) und Tiefengewinnung 3. Segmentierung, teilt ein Bild in Partitionen, die von Interesse oder Belang sind 4. Beschreibung, beschäftigt sich mit der Berechnung von Merkmalen für eine Unterscheidung 5. Wiedererkennung, Objektidentifizierung und Merkmalsextraktion z.B. bei Drehung, etc.

11. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung zwei Methoden, um von einem Problem zu einer Lösung zu gelangen: Bottom-Up-Ansatz: Allg. Annäherung, die aus den Daten des Sensors eine Skizze und eine Beschreibung herleitet. z.B.: Theorie von Marr Top-Down-Ansatz: Anhand von definierten Objekten oder Objektgruppen werden in dem Bild oder der Bildsequenz diese Muster gesucht. z.B. modellbasierte Objekterkennung

12. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Theorie von Marr 3 Stufen eines Computer-Vision-Systems: - Berechnungstheorie beschreibt das Umfeld, z.B. Operationen, etc. - Darstellung und Algorithmen beschreiben detailliert die Berechnungen - Implementation effizient berechenbare Umsetzung der Algorithmen

13. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Bild erste Skizze Theorie von Marr  aus einer Szene wird ein Bild gewonnen  Extraktion von starken Veränderungen Form: Kanten und Pixelhaufen  2.5D, weil zwischen erster Skizze und 3D  2.5D, weil Tiefengewinnung bzw. Abstandsberechnung nur von sichtbaren Teilen  Umwandlung in ein auswertbares Format  Übertragung in ein Koordinatensystem zur Auswertung oder Identifikation 2.5D Skizze Referenz- struktur Abbildung 4: Objekterkennung nach Marr

14. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Modellbasierte Objekterkennung Prinzip: - die 3D-Szene wird in ein 2D-Bild transformiert - die Pixel werden so gruppiert, dass sie die Natur des Bildes wiedergeben - Abgleich mit vorhandene Modellen - Ergebnisdarstellung Transformation z.B. durch Verwendung von: - Projektor (strukturiertes Licht) - Kamera

15. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Datenbank Modell-daten Modell- Repräsentation Modellbasierte Objekterkennung - Erstellung von Modellen, die erkannt werden sollen - Anlegen einer Datenbank Szene Objekt- Repräsentation Vergleich Ergebnis- darstellung erkanntes Objekt Abbildung 5: modellbasierte Objekterkennung - Extrahieren von Daten aus einer Szene - Datenvergleich, Objekterkennung

16. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 5. Zerlegung eines Problems Ein 3D-Objekterkennungssystem besteht aus 3 Teilen: Modellgewinnung Für jedes Objekt, dass in Betracht kommen könnte, muss ein Modell erstellt und in einer Datenbank abgelegt werden. Erkennung Für jedes Objekt, dass von dem Sensor betrachtet wird, wird ein Abgleich mit den Modellen der Datenbank durchgeführt. Ergänzung Objekte, die nicht in der Datenbank verfügbar sind, werden in diese aufgenommen.

17. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 6. Wichtige Aspekte der Objekterkennung Komplexität der Objektform - Anlehnung an geometrische Formen - je detaillierter die Form, desto schwieriger die Berechnungen - detaillierte Formen sollten das Ziel sein Größe der Modelldatenbank - je größer die Modelldatenbank, desto länger der Prozess, um ein Objekt zu identifizieren. - Optimierung durch gute Suchalgorithmen Lernfähigkeit - limitierte Anzahl von Modellen in der Datenbank - das System sollte in der Lage sein, neue Objekte, die mit keinem Modell aus der Datenbank übereinstimmen, zu ergänzen.

18. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Modelleinteilung - Zusammenfassung von Objekten mit gleichen Eigenschaften - zwei Ebenen des Vergleichens: allgemein  speziell Informationserhaltende Repräsentation - diese Informationen werden benötigt, wenn das Originalobjekt aus der Objektrepräsentation wieder rekonstruiert werden soll Verdeckung von Teilen - manche Szenen enthalten Objekte, die sich überlagern - es muss möglich sein, anhand von nur wenigen Eigenschaften ein Objekt zu erkennen Veränderliche Objekte - es muss ein Annäherungsverfahren geben, das erlaubt, eine Dynamik von Objekten zu erkennen

19. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 7. Aufnahmesysteme 2D-Bilder - die Aufgabe besteht darin, ein reales Objekt in eine digitale Form zu übertragen - es wird eine N x M Matrix erstellt, deren Einträge z.B. Helligkeit oder Pixel symbolisieren können. [0,0] [0,1] ... [0,M-1] [1,0] [1,1] ... [1,M-1] Matrix = ... ... ... ... [N-1,0] [N-1,1] ... [N-1,M-1]

20. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 3D-Bilder Beim menschliches Sehen gewinnen wir die Tiefeninformationen durch unsere zwei Augen. Gewinnung von Tiefeninformationen beim maschinellen Sehen durch: - Passive Tiefengewinnung Standard-Stereogeometrie - Aktive Tiefengewinnung Strukturiertes Licht Lauflängenverfahren z.B. Ultraschall, Radar, Sonar

21. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung - d.h. aus zwei Kamera- aufnahmen kann die dritte Dimension rekonsturiert werden Standard-Stereogeometrie - der Objektpunkt ist in der linken und rechten Projektion - Tiefenberechnung erfolgt mittels Triangulation Abbildung 6: Basis- Stereogeometrie [5]

22. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung - Erfassung der gesamten Ober- flächenstruktur Strukturiertes Licht - Projektion von strukturiertem Licht auf das Objekt - Aufnahme durch eine Kamera - aus den Linien können die 3D-Koordinaten berechnet werden - ist nur in kontrollier- baren Umgebungen möglich Abbildung 7: Objekterkennung mittels strukturiertem Licht [4]

23. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Abbildung 8: Laserkamera [4] Lauflängenverfahren durch Verwendung von: - Radar - Laser - Ultraschall Vorteile: - Tiefenvermessen des Umfeldes mit aktivem physikalischem Verfahren und relativ klar interpretierbaren Messwerten Nachteile: - begrenzte Möglichkeiten einer umfassenden Szeneninterpretation - gegenseitige Störung bei hohem Ausstattungsgrad ?

24. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung Moiré-Technik - mit Hilfe der Moiré-Technik ist es möglich, aus einer zweidimensionalen Aufnahme Tiefeninformationen zu gewinnen - dazu wird die Szene mit Streifengittern beleuchtet, eines vor der Kamera und eines wird auf das Objekt projiziert - die Form und Lage der Streifen erlauben eine Berechnung des Abstandes zur Kamera - aus diesen Daten kann ein Bild rekonstruiert werden

25. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 8. Zusammenfassung Maschinelles Sehen ist ein kompliziertes Problem: - Nachbildung des menschlichen Wahrnehmungsvermögens - mathematische Umsetzung - effiziente Algorithmen und Genauigkeit Wichtige Bestrebungen: - Gewinnung von Tiefeninformationen - realistische Abbildung der Wirklichkeit

26. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung 9. Literaturverzeichnis [1] M. Bennamoun, G. J. Mamic: „Object Recognition - Fundamentals and case studies“, Springer, London, 2002, S. 3-27 [2] V. Graefe, R. Bischoff: „Maschinelles Sehen zur Steuerung autonomer mobiler Systeme“, Universität der Bundeswehr, München www.unibw-muenchen.de/campus/LRT6/PDF/MaSteSy.pdf [3] H. Winter: „Entwicklung visueller Sensorik für innovative Fahrerassistenzsysteme“ www.aglaia-gmbh.de/ videos/doc/Vortrag-IIR-2003-10-14-www.pdf

27. BTU Cottbus, Lehrstuhl Grafische SystemeSeminar „Mustererkennung in Bildern und 3D-Daten“Computer Vision, Einführung und Grundbegriffe der 3D-Datenverarbeitung [4] M. Födisch, M. Horstmann, Th. Hermes: Vorlesung 3D-Bildverarbeitung 2, Universität Bremen www.informatik.uni-bremen.de/~hermes/ lectures/ss04/10.05.2004.folien.pdf [5] H. Bischof: ”Robot Vision” TU Graz www.icg.tu-graz.ac.at/~Education/Vorlesung/ MAB/Slides/robvis-3FR.pdf