Human Action Recognition Using Temporal Templates

1. Human Action Recognition Using Temporal Templates Jonas von Beck

2. Übersicht • Motivation • Einführung • Temporal Templates • Grundlagen der Bilderkennung • Implementierung des Verfahrens • Fazit • Anwendungen

3. 1. Motivation Bewegungsmuster lassen sich durch die Bewegung an sich erkennen. Man erkennt trotz miserabler Bildqualität eine sich setzende Person. Frame 5 25 40

4. 2. Einführung • Aufnahme der Bildsequenz • Reduzieren der Auflösung • Bewegung extrahiert & Binärbild oder Graustufen-bilder erzeugen • Ablage oder Abgleich mit Datenbank • Berechnung invarianter Merkmale

5. 3. Temporal Templates Bewegung: Wo? Wie? • Es werden Informationen über Bewegung festgehalten. • Diese werden in einem Binärbild oder Graustufenbild festgehalten.

6. 3.1. Motion-Energy Images (MEI) • Generierung eines Binärbildes wobei Bewegung weiß dargestellt wird • Hier Bewegungserkennung durch DifferenzbilderD.h. Aufeinanderfolgende Frames werden differenziert • Um Rauschen entgegenzuwirken wird die Auflösung herabgesetzt.

7. An den Stellen wo Bewegung stattfindet, färbt sich das MEI weiß.

8. 3.2. Motion-History Images (MHI) • Erweiterung von MEI • Graustufenbild, bei der frühere Bewegung dunkler dargestellt wird • Dadurch zusätzliche Information über Richtung der Bewegung

9. Durch die Graustufen lässt sich erkennen, wie die Bewegung stattgefunden hat. Hinsetzen MHI Arme Schwenken MHI Hinknien MHI

10. 4. Grundlagen aus der Bilderkennung Die gleiche Bewegung aus verschiedenen Sichtweisen. (z.B. wenn Person weiter Weg) • Ziel: Merkmale extrahieren die unabhängig von Position, Rotation oder Skalierung sind.

11. 4.1. Invariante Merkmale Allgemeine Merkmale: • Fläche der Form • Umfang der Form • Minimum Bounding Rectangle (MBR) • Best Ellipse Fit Invariante Merkmale: • Verhältnis Höhe/Breite: |log(H/B)| • Füllungsgrad • Kompaktheit: Fläche/Umfang² • Elongierttheit: (1- Nebenachse/Hauptachse) des BEF • Und weitere MBR BEF

12. Durch Momente lassen sich Objektform und Intensitätsverläufe eindeutig darstellen. Dazu werden aus der Bildfunktion B(x,y) die Momente mp,q gebildet. 4.1.1. Momente

13. 4.1.1. Momente Die Ordnung des Moments berechnet sich aus (p+q) m0,0 = Summe der Pixelwerte. (Fläche bei Binärbild) m1,0 = Zeilenmoment erster Ordnung m0,1 = Spaltenmoment erster Ordnung Daraus lässt sich der Schwerpunkt des Bildes berechnen

14. 4.1.2. Hu-Momente Mit Hilfe des Schwerpunkts können die zentralen Momente μp,qdefiniert werden Hu hat die unskalierten zentralen Momente normiert

15. 4.1.2. Hu-Momente • Hu hat mit den normierten zentralen Momenten 7 Merkmale entwickelt, die invariant gegen Translation, Rotation, und Größenskalierung sind . • Die Merkmale werden in einen Vektor (x1x2x3x4x5x6x7)T gepackt.

16. Die 7 invarianten Hu-Momente

17. 4.2. Klassifizierung • Aus den Trainingsdaten wird ein Merkmalsvektor nach Hu erstellt und in einer Datenbank den Einzelnen Bewegungen zugeordnet. • Die Eingabedaten müssen Klassifiziert werden. Dafür werden diese mit der Datenbank abgeglichen.

18. 4.2. Klassifizierung • Am einfachsten ist es einen Mittelwert x der Trainingsdaten zu berechnen • Abgleich erfolgt dann durch suchen der kleinsten euklidischen Norm im R7 • Leider gibt es dabei einige Nachteile und Probleme

19. 4.2.1. Probleme bei euklid. x1 t1 t1 und t2 sind gleich weit von Verschiedenen Mittelwerten entfernt. Dennoch sollten beide unterschiedlich gewichtet werden, da das obere Merkmal eine größere Streuung hat als das Untere. x2 t2

20. 4.2.1. Probleme bei euklid. Trainingsdaten Testwerte t1 x t2 t2 ist zwar näher an x, t1 ist aber eher im Streuungsbereich Realistischere Abstandsmessung

21. 4.2.2. Mittelwert und Varianz Mittelwert = E[x] Gilt für Vektor 1. Dimension Standartabweichung = Sqr(Var[x]) Abweichungen lassen sich skalieren, so dass diese Einheitlich sind. Standarisierte Distanz r:

22. 4.2.3. Standarisierte Distanz t sei zu Klassifizierender Vektor mit den 7 Hu-Momenten ti = i-ter Eintrag im Vektor t xi,j = Mittelwert des Merkmals i aus der Klasse (Bewegung) j si,j = Standardabweichung des Merkmals i aus der Klasse j Wir berechnen die Standarisierte Distanz Wenn die Distanz so berechnet wird, haben die unterschiedlichen Streuungen der Merkmale keinen Einfluss auf die Klassifizierung

23. 4.2.4. Kovarianzen Verschiedene Momente können zueinander Abhängig sein. (korreliert) Wir berechnen also paarweise die Kovarianz der Momente. Eine Kovarianzmatrix mit allen Kovarianzen wird aufgestellt

24. 4.2.4. Kovarianzen

25. 4.2.5. Die Kovarianzmatrix Mahalanobisdistanz Mit dieser Matrix lassen sich Distanzen unabhängig von Streuung und Korrelation zwischen Merkmalen berechnen

26. 5.1. Trainieren des Systems Es werden 18 Aerobicübungen aufgenommen und die Zugehörigen MEIs und MHIs Generiert. Dies wir für Verschiedene Blick- winkel von -90° bis 90° (30°Schritte) getan.

27. 5.1. Trainieren des Systems MEIs und MHIs werden über einen Zeitraum von „r“ bis „r+Δr“ rückwirkend erzeugt, da Bewegungen unterschiedlich schnell durchgeführt werden können. Zu den erhaltenen Daten werden die Statistischen Daten berechnet und in der Datenbank abgelegt.

28. 5.2. Test mit einer Kamera Um das System zu testen werden die Übungen von einer Weiteren Person Wiederholt. Aufnahmewinkel 30° Wieder werden MEI und MHI erstellt, die statistischen Daten berechnet. Dann folgt der Abgleich mit der Datenbank durch Mahalanobis Distanzen.

29. Die Tabelle zeigt die Distanz zur nahesten Bewegung, sowie die Nummer dieser. Zudem die Distanz zur Korrekten Bewegung und die durchschnittliche Distanz, sowie der Rang der Korrekten Bewegung.

30. 5.2. Test mit einer Kamera Bei den Bewegungen die falsch erkannt wurden, ist dies auf die Ähnlichkeit zurückzuführen. Auch wurde die Bewegung durch die andere Person nicht identisch durchgeführt Testbewegung bester Match korrekter Match

31. 5.3. Test mit mehreren Kameras Einige Bewegungen die von einem Sichtwinkel ähnlich MEIs und MHIs haben, können von einem anderen Winkel unterschiedlich aussehen. Der gleich Test wird mit zwei Kameras wiederholt die in einem Winkel von 90° zueinander stehen.

32. Das Ergebnis sieht mit zwei Kameras deutlich besser aus. Es muss berücksichtigt werden, dass jede Bewegung nur wenig trainiert wurde. Dennoch gibt es andere Probleme die eine Ursache sein könnten

33. 6.1. Probleme / Nachteile • Bewegungserkennung: • Bewegung im Hintergrund • Bewegung der Kamera • Einfarbige Kleidung • Helligkeitsschwankungen • Verdeckung durch Personen Objekte • Kombinierte Bewegungen • Werfen eines Balls • Bewegung des Oberkörpers beim gehen

34. 6.2. Vorteile • Sehr geringer Berechnungsaufwand • Funktioniert auch bei sehr schlechter Bildqualität

35. 7. Anwendungen • Als Teil von anderen Bildsequenz-erkennungsprogrammen • KidsRoom Interaktiver Spielraum