250 likes | 352 Views
3D-Objektmodellierung für Facial Animation. Arbeitsberatung der ITG Fachgruppe 3.1.2 “Digitale Bildcodierung” Ilmenau, 30.06.2000. Dirk Albrecht. Technische Universität Ilmenau. Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme.
E N D
3D-Objektmodellierung für Facial Animation Arbeitsberatung der ITG Fachgruppe 3.1.2 “Digitale Bildcodierung” Ilmenau, 30.06.2000 Dirk Albrecht Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Synthetic Natural Hybrid Coding (SNHC) Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Objektbasierte Videocodierung Object based Analysis-Synthesis Coding 2D- und 3D-Source Models, Wireframes Knowledge based Object Coding Face Model, Candide Semantic based Object Coding Gesichtsausdruck etc. Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Einschränkung auf Head and Shoulder Szenario Gesicht frontal zur Kamera Gemäßigte Kopfbewegung Lokale Gesichtsbewegung Trennung von Kopf- und Schulterbereich Video Analyse Kanal Synthese Video FAP-, FDP- Encoder FAP-, FDP- Decoder Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Head and Shoulder Szenario - Bedingungen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
3D-Kopfmodell nach Rydfalk • Parametrisches Gesichts- • modell Candide • lokales KO-System • 79 Knoten • 108 Dreiecke • im Bildsystem • P = [R] • P* + PU MPEG-4 definiert mindestens 50 Knotenpunkte - für eine gute Abbildung werden 500 erwartet Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Onset Apex End of Apex Offset Animation über Action Units (AU) Ausgangspunkt: Neutrales Gesicht Blick in Richtung z-Achse alle Muskeln entspannt Augenlider tangential zur Iris Pupillen haben 1/3 des Iris-Durchmessers Mund geschlossen, Linie zwischen Lippen ist horizontal Zähne aufeinander liegend Zunge berührt die Linie zwischen den Zähnen Facial Action Coding System (FACS) 46 AU für Gesichtsausdrücke 12 AU für Blickrichtung u. Kopforientierung basierend auf Gesichtsanatomie korreliert mit Muskelbewegungen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Klassifikation von FAPs FAP Groups Primary facial expressions as defined for FAP 2 Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Finden der Gesichtsform (Farbansatz) RGB IRgBy By Median Textur Rg Median IRgBy HSI Ausgangs- bild Median Farbton Sättigung – Probleme: Beleuchtungsverhältnisse unterschiedliche Hautfarben Textur- Amplitude Schwellwert- operator Binäres Hautbild Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gesichtserkennung über Bewegung 1. Differenzbildberechnung 2. Schwellwertoperator 3. Rauschreduktion 4. Histogramm der bewegten Pixel Problem: statischer Hintergrund Typisches Bewegungsbild Histogramm Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Elastic Bunch Graph Matching Zuordnung eines Gitternetzes ("Labeled Graph“) zu einem Gesicht Knoten des Graphen beinhalten bestimmte Merkmale des Gesichts Aufbringen diese Graphen auf das zu findende Gesicht über Matching Algorithmus Extraktion der Merkmale über Jets (bestehend aus mehreren Gabor Wavelets) 3D Gabor-Wavelets Labeled Graph Jet, bestehend aus 12 Gabor-Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen) Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gesichtserkennung über Eigenfaces Gesichter bilden einen Untervektorraum des Originalbildes Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
2D Template Matching Normiertes Template Suchbild mit eingeschränktem Suchraum parametrisch deformierbar Kreuzkorrelation Drehung und Skalierung entsprechend Kopfgröße u. -drehung Ausnutzung symmetrischer Charakteristiken Evolutionäre Navigationsroutinen Problem: Training Set Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Fluß Bewegung des Modells Optischer Fluß Bewegung eines Pattern in der Bildebene Exu + Eyv + Et =0 Ergebnis ist Vektorfeld Annahme: Helligkeit der Objektpunkte gleich über Zeit für lokale Bewegung hinreichend Probleme mit starken Texturen, bewegenden Kanten etc. Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gesichtsmerkmale • Primäre Merkmale • Augen • Mund • Nase • Augenbrauen • Zähne • Ohren • Zunge • Kinn • Wangen • Haar • Sekundäre Merkmale • Textur der Haut, Adern • physische Verletzungen / Krankheiten • Geschlecht • Rasse • Größe / Alter • Feature Selection • Untersuchung der Wichtung der Parameter Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Parametrische 2D-Modelle Schätzverfahren für Augen-und Mundwinkelpositionen Augenöffnungsgrad Auswahl des Mundmodells Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Skalierungs- und Mimikparameter Gesichtsgröße Ausgangspunkt Dreieck der Augen und Mundmittelpunkt Verifikation der Ergebnisse anhand der äußeren Gesichtsform Schätzung der Tiefeninformation Normalenvektor des Dreiecks bestimmt Blickrichtung Projektion in Bildebene Augengröße Bestimmung der Skalierungs- parameter Projektion in das 3D-Modell Mundgröße Bestimmung der Lippengöße Projektion in das 3D-Modell Projektion auf Action Units Erkenntnisse: Solide Vorverarbeitung Robuste Schätzung der Augen-und Mundwinkel- positionen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Gliederung • 1. Objektorientierte Bildcodierung • 2. 3D parametrisches Gesichtsmodell • 3. Objekterkennung / Objektverfolgung • 4. Auswertung der Mimikparameter • 5. Zusammenfassung und Ausblick Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme
Ausblick und Zusammenfassung • Arbeitsbereich mit zahlreichen weltweiten Aktivitäten • beachtliche Ergebnisse • Standard für Übertragung gegeben (MPEG-4/SNHC) • Problem der Robustheit ist zu lösen, um eine Umsetzung in kommerziellen Systemen zu erreichen Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme