1 / 16

Projekt A4: „Alignment of Situation Models“

Projekt A4: „Alignment of Situation Models“. Gert Rickheit Sven Wachsmuth Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008. Aus der Sicht eines Roboters. Wahrnehmung komplexer Räume Mit Menschen über Räume sprechen Vereinfachung der Komplexität durch:

marah-rutledge
Download Presentation

Projekt A4: „Alignment of Situation Models“

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Projekt A4:„Alignment of Situation Models“ Gert Rickheit Sven Wachsmuth Constanze Vorwerg Agnes Swadzba SFB-Kolloqium, 04.02.2008

  2. Aus der Sicht eines Roboters • Wahrnehmung komplexer Räume • Mit Menschen über Räume sprechen • Vereinfachung der Komplexität durch: • Erzeugen von Situationsmodelle • Alignment der Modelle • Nutzen der Modelle zur Reduktion des visuellen Verarbeitungsaufwands • Welche Schritte sind notwendig? BIRON

  3. Perzeption der Szene • Fokus auf 3D-Datenakquise • Verschiedene Möglichkeiten: • Stereo-Kameras • Laserscanner • Unsere Wahl: • Swissranger SR3000 • 3D Time-of-Flight (ToF) Camera • 176 x 144 Pixelsensoren • Abstandsberechung aus Zeitdifferenz zwischen Senden und Empfangen eines Infrarotsignals

  4. Beispieldaten eines Büros

  5. Erweiterung des Sichtfelds • Aufnahme einer Sequenz von 3D-Punktwolken • Registrierung und Rekonstruktion zu einer globalen Punktwolke • Diplomarbeit:„Estimation of Camera Motion from Depth Image Sequences“

  6. Erweiterung des Sichtfelds

  7. Analyse der Szenen • Datengetriebene Analyse der 3D-Punktwolken • Extraktion von geometrischen „Raumprimitiven“: • Beschränkung auf von Menschen gestaltete Innenräume • Extraktion von planaren Flächen: • Gegebene Anordnung der 3D-Punkte in eine 2D-Matrix • Region Growing über die 8-er Nachbarschaft durch Punkte die 4 Kriterien erfüllen • Kriterien: planar, valid, conormal, coplanar

  8. Analyse der Szenen

  9. Ziele der Szenenanalyse • Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf • Alignment des Roboter auf dieses Konzept • Durch ähnliche Konzepte wird die Kommunikation effektiver, einfacher und schneller • Strategien: • Aushandeln im Dialog (Koordination) • Annahmen aus Daten generieren • Aus Handlungen generieren • usw. • Wahrnehmung ist durch aktuelle Situation determiniert

  10. Raumerkennung • Raumerkennung auf Basis planaren Strukturen • Experiment: • Raumkategorien: Büro, Seminarraum, Flur • Ziel: Klassifikation von Perzepten (3D-Punktwolken) in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen) • Merkmale: Statistiken auf extrahierten Ebenen

  11. 4 untersuchte Statistiken • Anzahl der Punkte pro planare Fläche • Winkel zwischen allen Flächenpaaren • Winkel zwischen nah benachbarten Flächenpaaren • Größen-verhältnisse zwischen allen Flächenpaaren

  12. Durchführung des Experiments • 300 Aufnahmen pro Raum als Trainingsdaten • 270 Aufnahmen zum Trainieren der Klassifikatoren • Neuronale Netze (NN) • Support Vector Machine (SVM) • Mischverteilungsklassifkator (MVK) • 30 Aufnahmen zum Testen der Raumwiedererkennung • 300 Aufnahmen von 3 weiteren Räume zum Testen der Kategorisierungsleistung bei unbekannten Räumen

  13. Ergebnisse Trainingsräume

  14. Ergebnisse Testräume

  15. Ergebnisse

  16. Ausblick • Nächste Schritte: • Experimente mit anderen Räumen (z.B. Wohnzimmer, Schlafzimmer, Küche) • Untersuchung alternativer Statistiken • Weitere Ziele: • Generieren von Szenenmodellen basierend auf planaren Strukturen und extrahierten Merkmalen • Integration von Farbinformation • Verwenden von Objektdetektoren • Wissen über menschliche Modelle integrieren • Weltwissen über Räume aufbauen • Mögliche Dimensionen (Raumkonzept, Farbkategorien, Größenbeziehungen, räumliche Bezugssystem, usw.)? • Alignment auf und Abhängigkeit zwischen den Dimensionen?

More Related