Projekt A4: „Alignment of Situation Models“

1. Projekt A4:„Alignment of Situation Models“ Gert Rickheit Sven Wachsmuth Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008

2. Aus der Sicht eines Roboters • Wahrnehmung komplexer Räume • Mit Menschen über Räume sprechen • Vereinfachung der Komplexität durch: • Erzeugen von Situationsmodelle • Alignment der Modelle • Nutzen der Modelle zur Reduktion des visuellen Verarbeitungsaufwands • Welche Schritte sind notwendig? BIRON

3. Perzeption der Szene • Fokus auf 3D-Datenakquise • Verschiedene Möglichkeiten: • Stereo-Kameras • Laserscanner • Unsere Wahl: • Swissranger SR3000 • 3D Time-of-Flight (ToF) Camera • 176 x 144 Pixelsensoren • Abstandsberechung aus Zeitdifferenz zwischen Senden und Empfangen eines Infrarotsignals

4. Beispieldaten eines Büros

5. Erweiterung des Sichtfelds • Aufnahme einer Sequenz von 3D-Punktwolken • Registrierung und Rekonstruktion zu einer globalen Punktwolke • Diplomarbeit:„Estimation of Camera Motion from Depth Image Sequences“

6. Erweiterung des Sichtfelds

7. Analyse der Szenen • Datengetriebene Analyse der 3D-Punktwolken • Extraktion von geometrischen „Raumprimitiven“: • Beschränkung auf von Menschen gestaltete Innenräume • Extraktion von planaren Flächen: • Gegebene Anordnung der 3D-Punkte in eine 2D-Matrix • Region Growing über die 8-er Nachbarschaft durch Punkte die 4 Kriterien erfüllen • Kriterien: planar, valid, conormal, coplanar

8. Analyse der Szenen

9. Ziele der Szenenanalyse • Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf • Alignment des Roboter auf dieses Konzept • Durch ähnliche Konzepte wird die Kommunikation effektiver, einfacher und schneller • Strategien: • Aushandeln im Dialog (Koordination) • Annahmen aus Daten generieren • Aus Handlungen generieren • usw. • Wahrnehmung ist durch aktuelle Situation determiniert

10. Raumerkennung • Raumerkennung auf Basis planaren Strukturen • Experiment: • Raumkategorien: Büro, Seminarraum, Flur • Ziel: Klassifikation von Perzepten (3D-Punktwolken) in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen) • Merkmale: Statistiken auf extrahierten Ebenen

11. 4 untersuchte Statistiken • Anzahl der Punkte pro planare Fläche • Winkel zwischen allen Flächenpaaren • Winkel zwischen nah benachbarten Flächenpaaren • Größen-verhältnisse zwischen allen Flächenpaaren

12. Durchführung des Experiments • 300 Aufnahmen pro Raum als Trainingsdaten • 270 Aufnahmen zum Trainieren der Klassifikatoren • Neuronale Netze (NN) • Support Vector Machine (SVM) • Mischverteilungsklassifkator (MVK) • 30 Aufnahmen zum Testen der Raumwiedererkennung • 300 Aufnahmen von 3 weiteren Räume zum Testen der Kategorisierungsleistung bei unbekannten Räumen

13. Ergebnisse Trainingsräume

14. Ergebnisse Testräume

15. Ergebnisse

16. Ausblick • Nächste Schritte: • Experimente mit anderen Räumen (z.B. Wohnzimmer, Schlafzimmer, Küche) • Untersuchung alternativer Statistiken • Weitere Ziele: • Generieren von Szenenmodellen basierend auf planaren Strukturen und extrahierten Merkmalen • Integration von Farbinformation • Verwenden von Objektdetektoren • Wissen über menschliche Modelle integrieren • Weltwissen über Räume aufbauen • Mögliche Dimensionen (Raumkonzept, Farbkategorien, Größenbeziehungen, räumliche Bezugssystem, usw.)? • Alignment auf und Abhängigkeit zwischen den Dimensionen?