Seminar - Objekterkennung durch Alignment

1. Einführung: Objekterkennung und Alignment im 2D Objekterkennung und Alignment im 3D Detaillierte Betrachtung der 3D-Objekterkennung durch Alignment: Finden von charakteristischen Bild- und Modellpunkten Klassifizierung von charakteristischen Bild- und Modellpunkten Berechnung des Alignments Ausblick: Alignment von nichtflachen Objekten Seminar - Objekterkennung durch Alignment

2. Seminar - Objekterkennung durch Alignment Einführung: Objekterkennung und Alignment im 2D

3. Seminar - Objekterkennung durch Alignment Unter Objekterkennung verstehen wir im folgenden das Erkennen von Zusammenhängen zwischen einem Bild und einer bestimmten Ansicht eines bekannten Objekts. Es ist also zu prüfen, inwiefern Objekte aus einer Modelldatenbank mit einem Bild übereinstimmen. Objekterkennung Bild (2D) Modelldatenbank (2D)

4. Seminar - Objekterkennung durch Alignment Alignment bedeutet in etwa Ausrichtung. Es wird versucht, ein Bild bestmöglich durch eine Ausrichtung eines Modells zu approximieren. Die Ausrichtung geschieht durch Rotationen, Verschiebung und Skalierung des Modells. Um die notwendigen Parameter zu berechnen werden zuerst nur einzelne Punkte des Modells an einzelnen Punkten des Bildes ausgerichtet. Dadurch erfolgen die Berechnungen schnell. Bei einem erfolgreichen Alignment wird dann das gesamte Modell ausgerichtet und mit dem Bild verglichen, um den tatsächlichen Grad der Übereinstimmungen zu bewerten. Alignment

5. Seminar - Objekterkennung durch Alignment Beispiel: Alignment im 2D Modell (2D) Bild (2D) (ai,am) und (bi,bm) sind Paare von korrespondierenden charakteristischen Bild- und Modellpunkten. Wir betrachten im Folgenden lediglich diese beiden Punktpaare! Modell und Bild oben dienen nur der Anschauung!

6. Seminar - Objekterkennung durch Alignment Beispiel: Alignment im 2D Schritt 1: Verschieben der Modellpunkte, so dass bm = bi

7. Seminar - Objekterkennung durch Alignment Beispiel: Alignment im 2D Schritt 2: Rotation von am um bm, so dass die gedachten Kanten aibi und ambm aufeinander liegen.

8. Seminar - Objekterkennung durch Alignment Beispiel: Alignment im 2D Schritt 3: Skalieren, so dass ai = am und bi = bm

9. Seminar - Objekterkennung durch Alignment Zum korrekten Alignment im 2D bedarf es also der Berechnung eines Verschiebungsvektors, eines Rotationswinkels, und eines Skalierungsfaktors. Hierzu ist das Wissen um zwei Paare korrespondierender charakteristischer Bild- und Modellpunkte notwendig. Beispiel: Alignment im 2D

11. Seminar - Objekterkennung durch Alignment Die Berechnung des Alignments für diese Punktepaare ist damit beendet. Nun wird das ganze Modell anhand dieser Parameter transformiert, und verglichen, wie gut das Alignment tatsächlich war. Es wird danach bewertet, wieviel Prozent der Kanten des ausgerichteten Modells nun wirklich auf den Kanten des Bildes liegen. Ein erfolgreiches Alignment ist nämlich nicht automatisch die Garantie für ein sinnvolles Match: Beispiel: Alignment im 2D

12. Seminar - Objekterkennung durch Alignment Die Punktepaare könnten ungünstig gewählt worden sein: Bild Modell Beispiel: Alignment im 2D

13. Seminar - Objekterkennung durch Alignment Objekterkennung und Alignment im 3D

14. Seminar - Objekterkennung durch Alignment Modelle (3D) Bild (3D) Objekterkennung: 3D aus 3D Das Bild ist wirklich dreidimensional, es kann z.B. mit Hilfe eines Laserscanners aufgenommen werden, der Entfernungen zum Betrachter mißt. Im Dreidimensionalen ist das Alignment schwieriger zu berechnen, da z.B. Punkte verdeckt werden können.

15. Seminar - Objekterkennung durch Alignment Modelle (3D) Bild (2D) Objekterkennung: 3D aus 2D Es liegt nur ein zweidimensionales Bild eines dreidimensionalen Objekts vor, die Abbildung ist also verlustbehaftet! Außerdem können Verzerrungen oder Überdeckungen den Erkennungsvorgang erschweren.

16. Seminar - Objekterkennung durch Alignment Ein Feature-Detektor liefere zu gegebenem Bild und Modell jeweils eine Menge von charakteristischen Punkten. Im Zweidimensionalen genügten zwei Punktpaare zur Berechnung des Alignments. Wir werden später zeigen, dass im Dreidimensionalen drei Punktpaare genügen. Dies ist der Hauptgedanke hinter der Alignment-Idee! Was gewinnen wir, wenn wir uns auf drei Punktpaare beschränken können? Aufwandsersparnis durch Alignment

17. Seminar - Objekterkennung durch Alignment Gegeben seien i charakteristische Bild-, und m charakteristische Modellpunkte. Daraus ergeben sich p = i*m mögliche Paare von Bild- und Modellpunkten. Welche Paare führen zum besten Alignment? Sei A im folgenden die Menge aller möglichen Paare: A = { (c1, d1), ... , (ci, d1), ... , (c1, dm), ... , (ci, dm) } Aufwandsersparnis durch Alignment

19. Seminar - Objekterkennung durch Alignment naiv: jede mögliche Kombination dieser Punktpaare bildet ein mögliches Match. Aufwand: exponentiell besser: es genügen drei Punktpaare für ein mögliches Match. Aufwand: kubisch Aufwandsersparnis durch Alignment

20. Seminar - Objekterkennung durch Alignment Wie findet man charakteristische Bild- bzw. Modellpunkte? Wie kann man diese Punkte klassifizieren, um korrespondierende Bild- und Modellpunktpaare zu finden? Wie berechnet man aus den drei Punktpaaren das Alignment, also die Parameter für Rotation, Verschiebung und Skalierung? Im Folgenden: Alignment (3D aus 2D) im Detail

21. Seminar - Objekterkennung durch Alignment Finden von charakteristischen Bild- bzw. Modellpunkten

22. Seminar - Objekterkennung durch Alignment Ziele: Man versuche, möglichst Punkte mit unverwechselbaren Eigenschaften zu finden, um die Zahl der Punktepaare gering zu halten. Dies beschleunigt den Algorithmus. Die Eigenschaften der Punkte sollten sich auch unter Transformationen wie Rotationen möglichst wenig verändern. Geeignete Punkte könnten z.B. Scheitelpunkte sein, oder Eckpunkte, an denen viele Kanten aufeinandertreffen. Finden von charakteristischen Punkten

23. Seminar - Objekterkennung durch Alignment Vorgehensweise: (1) Aus einem Graustufenbild extrahiere man die Kanten mittels eines geeigneten Filters. (2) Man unterteile die Kanten an bestimmten Punkten in einzelne Segmente. (3) Zuletzt weise man jedem Segment einen oder zwei charakteristische Punkte zu. Finden von charakteristischen Punkten

24. Seminar - Objekterkennung durch Alignment 1. Schritt: Kantenerkennung Gegeben sei ein Graustufenbild. Daraus können mit geeigneten Filtern die Kanten extrahiert werden. Finden von charakteristischen Punkten

25. Seminar - Objekterkennung durch Alignment 2. Schritt: Kantensegmentierung Man unterteile die Kanten an den Punkten, in denen sich die Krümmung der Kante ändert, also Linkskurven in Rechtskurven oder Geraden übergehen, und umgekehrt. Im Bild sind diese Krümmungsänderungen durch schwarze Punkte gekennzeichnet. Finden von charakteristischen Punkten

26. Seminar - Objekterkennung durch Alignment 3. Schritt: Definiere charakteristische Punkte Die Kanten sind nun in Links- und Rechtskurven sowie gerade Stücke eingeteilt. Einer Kurve weise man ihren Mittelpunkt als charakteristischen Punkt zu, einem geraden Stück seine beiden Endpunkte. Finden von charakteristischen Punkten

27. Seminar - Objekterkennung durch Alignment Im Zweidimensionalen ist es von Vorteil, Kanten in Punkten zu segmentieren, in denen Krümmungsmaxima auftreten. Im Dreidimensionalen ergeben sich aber Probleme, da diese Punkte bzgl. Rotationen nicht robust sind. Im Dreidimensionalen sind Punkte, in denen Krümmungswechsel von Links- zu Rechtskurven stattfinden, robuster unter Rotation. Finden von charakteristischen Punkten

28. Seminar - Objekterkennung durch Alignment Klassifizierung von charakteristischen Punkten

29. Seminar - Objekterkennung durch Alignment Ziel: Durch eine detaillierte Beschreibung eines Punktes kann die Anzahl der möglichen Punktepaare von Bild und Modell reduziert werden. Die Anzahl an charakteristischen Punkten soll recht klein bleiben, um den Algorithmus nicht zu verlangsamen. Idee: Beschreibung in mehreren Genauigkeitsstufen Klassifizierung von charakteristischen Punkten

30. Seminar - Objekterkennung durch Alignment Man betrachte das Modell nach verschiedenen Glättungen, z.B. durch einen Gauss-Filter. Klassifizierung von charakteristischen Punkten

31. Seminar - Objekterkennung durch Alignment Nun teile man das Modell für jede Glättungsstufe in Kantensegmente ein, wie zuvor beschrieben. Natürlich ergeben sich jeweils andere Einteilungen. Klassifizierung von charakteristischen Punkten

32. Seminar - Objekterkennung durch Alignment Man benutze die Kantensegmente der kaum gefilterten Modelle, um die der stark gefilterten Modelle zu beschreiben. Dies geschieht am einfachsten in einer Baumstruktur. Klassifizierung von charakteristischen Punkten

33. Seminar - Objekterkennung durch Alignment Nun wird jedes Kantensegment noch nach bestimmten Kriterien beschrieben: Ist das Segment gerade (straight) oder gekrümmt (curved)? Ist ein gekrümmtes Segment geöffnet (open) oder geschlossen (closed)? Entspricht das Segment einem einzelnen Kantensegment einer schwächeren Filterung (single), oder gleich mehreren (multiple)? Klassifizierung von charakteristischen Punkten

34. Seminar - Objekterkennung durch Alignment Klassifizierung von charakteristischen Punkten

35. Seminar - Objekterkennung durch Alignment Da bei starker Filterung nur wenige Punkte übrigbleiben, wählen wir diese aus, um das Alignment durchzuführen. Die Punkte sind ja durch sehr viele Merkmale charakterisiert! Gegebenenfalls kann es jedoch von Vorteil sein, Punkte eines schwach gefilterten Modells zu verwenden. Mehrstufige Alignments können bessere Resultate liefern, obwohl der Aufwand kaum größer wird. Klassifizierung von charakteristischen Punkten

36. Seminar - Objekterkennung durch Alignment Berechnung des Alignments

37. Seminar - Objekterkennung durch Alignment Modell Bild Problem: Verzerrungen Perspektivische Projektion Dem Betrachter nahe Objektteile wirken größer als gleichgroße, weiter entfernte Objektteile!

38. Seminar - Objekterkennung durch Alignment Modell Senkrechte Projektion Bild Problem: Verzerrungen Das Objekt sei so weit vom Betrachter entfernt, daß Verzerrungen nicht wahrnehmbar seien. Nun wirkt lediglich das Modell im Ganzen kleiner! Das kann leicht durch eine Skalierung modelliert werden.

39. Seminar - Objekterkennung durch Alignment Da wir die perspektivische Projektion durch senkrechte Projektion und einen Skalierungsfaktor approximieren, sind Distanzen, die sich (z.B. bei Drehungen) in z-Richtung ändern, nicht interessant. Wir werden sehen, dass drei Paare von korrespondierenden Bild- und Modellpunkten ausreichen, um das Alignment zu berechnen. Wir berechnen also den Verschiebungsvektor, die Rotationswinkel und den Skalierungsfaktor, um die drei Modell- auf die drei korrespondierenden Bildpunkte auszurichten. Berechnung des Alignments

40. Seminar - Objekterkennung durch Alignment Berechnung des Alignments Das 2D- Bild befindet sich in der x-y-Ebene; das Modell darüber ist zwar ebenso zweidimensional, kann aber im Raum bewegt werden, hat also dreidimensionale Ausdehnung.

41. Seminar - Objekterkennung durch Alignment Berechnung des Alignments Verschiebung der Modellpunkte, so dass die x- und y-Komponenten von am und ai gleich sind. Der Einfachheit halber wählen wir die von ai von Anfang an gleich Null.

42. Seminar - Objekterkennung durch Alignment Berechnung des Alignments Rotation um z-Achse, so dass die Kanten aibi ambm parallel übereinanderliegen.

43. Seminar - Objekterkennung durch Alignment Berechnung des Alignments Die Achsen des Koordinatensystems werden o.B.d.A so gewählt, dass die y-Komponente von bi und bm gleich Null ist.

44. Seminar - Objekterkennung durch Alignment Berechnung des Alignments Rotation um die y-Achse, so dass bi und bm dieselben x- und y Koordinaten haben. Obwohl sich die z-Komponente von bm auch ändert, interessiert sie uns nicht.

45. Seminar - Objekterkennung durch Alignment Berechnung des Alignments Rotation um die x-Achse, so dass ci und cm dieselben x- und y Koordinaten haben. Obwohl sich die z-Komponente von cm auch ändert, interessiert sie uns nicht.

47. Seminar - Objekterkennung durch Alignment Ein Algorithmus zur Objekterkennung könnte also wie folgt funktionieren: - Extrahiere Kanten aus Bild und Modell und segmentiere sie. - Klassifiziere alle Kantensegmente und bestimme zu jedem einen charakteristischen Punkt. - Bestimme anhand der Klassifizierungen mögliche Paare von korrespondierenden Bild- und Modellpunkten. - Berechne zu jedem möglichen Tripel von Punktpaaren zuerst das Alignment und dann (wenn nötig) dessen Güte. - Gib das beste Alignment aus (Punktetripel, Parameter) Rekapitulation:

48. Seminar - Objekterkennung durch Alignment Alignment von nichtflachen Objekten

49. Seminar - Objekterkennung durch Alignment Die drei Modellpunkte, die wir am Bild ausrichten, dürfen nicht auf verdeckten Ecken oder Flächen liegen! ausgerichtete Modellpunkte sichtbarer Teil des ausgerichteten Modells Alignment von nichtflachen Objekten Bild Charakteristische Punkte

50. Seminar - Objekterkennung durch Alignment Wird nach der Berechnung des Alignments das ganze Modell ausgerichtet und mit dem Bild verglichen, dürfen verdeckte Kanten nicht mit verglichen werden, sie sind zu löschen! Alignment von nichtflachen Objekten Bild ausgerichtetes Modell vor Vergleich zu löschende Kanten