1 / 39

TRACKING als Messaufgabe: Grundlagen, Methoden und Werkzeuge

TRACKING als Messaufgabe: Grundlagen, Methoden und Werkzeuge. Axel Pinz El. Messtechnik u. Messsignalverarbeitung. Vortrag im Seminar von Prof. Maass 7.5.2002. Was kann ich optisch messen ?. Geometrische Größen Lage Länge Winkel Entfernung Fläche. Was kann ich optisch messen ?.

nehru-calhoun
Download Presentation

TRACKING als Messaufgabe: Grundlagen, Methoden und Werkzeuge

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. TRACKING als Messaufgabe: Grundlagen, Methoden und Werkzeuge Axel Pinz El. Messtechnik u. Messsignalverarbeitung Vortrag im Seminar von Prof. Maass 7.5.2002

  2. Was kann ich optisch messen ? • Geometrische Größen • Lage • Länge • Winkel • Entfernung • Fläche

  3. Was kann ich optisch messen ? • Radiometrische Größen • Strahlung (Wärme) • UV • Lichttechnische Größen • Beleuchtungsstärke • Leuchtdichte • Lichtstrom, … • Farbe, spektrale Komponenten

  4. Was kann ich optisch messen ? • „abgeleitete“ Größen • 3D Position und Orientierung (Objekte / Kamera) • Identifikation von Objekten / Marken • Mustererkennung • Computer Vision • Image Understanding

  5. „Optisch“ vs. „Bildgestützt“ • 0- oder 1-D • Fotodiode • Laser-Triangulierung • Längen- / Winkel-Codierung • … • 2-D Rasterbilder • Kenngrößen • Abgeleitete Größen • 3-D • Stereo • „direkte“ Verfahren

  6. Beispiel (optisch)

  7. Beispiel (bildgestützt)

  8. “Tracking” - Beispiele • Konturen (2D Kurven – Anpassung) • Hände (2D Hand- + Gestenerkennung) • 3D Punkte (Blobs, Interest-Operatoren) • 3D Modelle mit Markierungen • 3D Modell des menschlichen Körpers

  9. Contour-Based Tracking Probabilistic Tracking in a Metric Space. Toyama, Blake, ICCV 2001, Marr Prize

  10. Hand Tracking for HCI • Hand color • Shape & size (scale) • A Prototype System for Computer Vision Based Human Computer Interaction. Bretzner, Lindeberg, • KTH TR CVAP256

  11. Tracking von 3D Modellen

  12. Model-Based Tracking Automatic Partitioning of High-Dimensional Search Spaces associated with Articulated Body Motion Capture. Deutscher, Davison, Reid. CVPR 2001

  13. Kamera (1) • Perspektive Kamera • Lochkamera, “pinhole camera” • Brennweite f, “focal length” • Hauptpunkt o(u0 ,v0), “principal point” • Hauptachse, “principal axis” • Bildkoordinaten p(x,y) • 3D Szenenkoordinaten P(X,Y,Z)

  14. Kamera (2) • Setze f=1, homogene Koordinaten: • Reale Aufnahmesituation:

  15. Orientierung • K … innere Parameter (“interior”, “intrinsic”) • sx,sy … Skalierung entlang der x- bzw. y-Achse • s … Winkel zwischen den Achsen (“skew”, ~ 0) • M … äußere Parameter (“exterior”, “extrinsic”) • 3x Translation • 3x Rotation

  16. Orientierung, Kamerakalibrierung • Insgesamt 11 Parameter • 5 für innere Orientierung • 6 für äußere Orientierung • Kalibrierung • Kalibrierobjekt (“calibration target”) • Punktkorrespondenzen (mind. 6 Punkte) • Lin. Gleichungssystem (überbestimmt) • Unbekannte Szene • Mehrere Ansichten (mind. 2) • Punktkorrespondenzen • Bekannte / unbekannte Kamerabewegung (“self-calibration”)

  17. Linsenverzeichnung (1) • Szene >> Linsensystem  Projektionszentrum ok • Verzerrungen zwischen Sehstrahl und Pixel: • Radiale Verzerrung (k1,…,k3), Brechung • Tangentiale Verzerrung (P1,…,P3), Verschiebung

  18. Linsenverzeichnung (2) • Kompensation • 3D Kalibrierobjekt [Tsai 1987] • 2D ebenes Objekt [Zhang 1998] • Geradentreue [Brand et al. 1994] • Meist iterativ, Optimierungsproblem

  19. Was kann man mit einer kalibrierten Kamera messen ? • Richtungen • Winkel zwischen Richtungen • 3D Rekonstruktion nur wenn die Kamera bewegt wird, und mehrere Bilder aufgenommen werden. Punktkorrespondenzen in diesen Bildern. • Spezialfall ebene Szene, bekannte Ä.O.: • Winkel, Distanzen, Flächen

  20. Camera Pose Estimation • Pose estimation ~ Schätzung der Ä.O. bei bekannter / unbekannter Szene  finde R, t • “inside-out” tracking ~ camera pose in real-time • Lineare Algorithmen [Quan, Zan, 1999] • Iterative Algorithmen [Lu et al., 2000] • Punkt-basierte Methoden • Keine Geometrie, nur 3D Punkte • Modellbasierte Methoden • Objekt-Modell, z.B. CAD

  21. PnP – Perspective n-Point Problem • Kalibrierte Kamera K, C = (KKT)-1 • n Punktkorrespondenzen Szene  Bild • Bekannte Szenenkoordinaten der Punkte pi, Distanzen dij= ||pi – pj || • Jedes Paar von Punkten gibt einen Winkel , der in der kalibr. Kamera aus dem Bild gemessen werden kann  constraint für die Entfernung ||c –pi||

  22. PnP (2)

  23. PnP (3) • P3P, 3 Punkte: unterbestimmt, 4 Lösungen • P4P, 4 Punkte: überbestimmt, 6 Gleichungen, 4 Unbekannte 4 x P3P, dann gemeinsame Lösung finden • Allgemein: PnP, n Punkte

  24. PnP (4) Wenn die xigelöst sind: • p’i= xi K-1ui • Finde “homography” R, t für p’i pi

  25. Real-Time (1) Messen von • Pose • 3D Position • abgeleiteten Größen • mehreren Trajektorien • … in Echtzeit „Echt“-Zeit ist problemspezifisch, zB Videorate 30Hz

  26. Real-Time (2) kann erreicht werden durch: • sehr einfache Probleme • schnelle (einfache, lineare, direkte) Algorithmen • Kleine Bildausschnitte ( CMOS) • Spezialhardware • … Anwendungsbeispiel: Real-Time Tracking

  27. Tracking (1) • Position + Orientierung (t, R) von Objekt(en) und / oder Kamera • 2D (Bild) oder 3D (Szene) • Zeitliche Veränderung (t(t), R(t)) • Trajektorie(n), Prädiktion • Real-Time • Einzel- / Multisensor, Kombinationen, Fusion, …

  28. Tracking (2) [Hager, 2001] “Given: • An identified target in an image I0 • A corresponding initial configuration (or state), s0, of the target • A sequence of subsequent images, I1, I2, … produce a corresponding series of state estimates s1, s2, … of the target.”

  29. Tracking (3) - Anwendungen • Video Annotation / Manipulation • Verkehrsströme • Fahrzeugsicherheitssysteme • Militär • Filmindustrie, z.B. character animation • VR / AR • Medizin • Industrielle Produktion, z.B. virtuelles Fahrzeug • … • RoboCup !!!

  30. Tracking (4) - Methoden • “Blob” Tracking • Farbe • Schablonen, Muster, Objektmodelle • “template”, “feature” • Aktive Konturen

  31. Tracking (5) – Algorithmen / Systeme • KLT [Kanade, Lucas, Tomasi] • CONDENSATION [Blake, …] • XVision [Hager, …] • ARToolkit [Billinghurst, …] • A.R.T. [kommerzielles Produkt] • Rapid [Harris, Armstrong, Zisserman] • …

  32. Stochastisches Tracking (2.5 Std!) • Grundbegriffe der Statistik • Kalman Filter • Tracking mit Kalman Filter • Condensation • Tracking mit Condensation • Beispiele (Videos) http://www.cs.unc.edu/~welch/kalman

  33. Kalman Filter (1) http://www.cs.unc.edu/~welch/kalman

  34. Kalman Filter (2) http://www.cs.unc.edu/~welch/kalman

  35. Kalman Filter (3) http://www.cs.unc.edu/~welch/kalman

  36. Condensation • Mehr als 1 Hypothese wird aufrechterhalten • “Conditional density propagation”

  37. RoboCup - Empfehlungen • Omnidirektionale Plattform • Omnidirektionale Vision ! • Selbstlokalisation am Spielfeld („ausreichend“ genau) • Modellbasiert (2D Ebene mit Linien) [RoRapid] • Robust (Verdeckungen, Fehler) • Sonar Ring • Ball und Gegner im Nahfeld erkennen • Ballbehandlung (Führen, Schiessen) • Schiessen + Ball führen in alle Richtungen! • Ev. „Spezialisten“ bauen

  38. Diplomarbeit(en) am EMT • Omnidirectional vision • Self-localisation

  39. Diskussion ! • Fragen • Probleme • Wünsche • Anregungen

More Related