Mark-up Sprachen zur Beschreibung von virtuellen Personen in virtuellen Umgebungen

Mark-up Sprachen zur Beschreibung von virtuellen Personen in virtuellen Umgebungen

Referat • Ziel • Überblick • Begriffe • TVML • Diskussion

<Abstract Definition of Visual Content> <Transformation Layer> <Display System>

Mark-up Sprachen • AML (Agent Modeling Language)‏ • MPML (Multimodal Presentation Markup Language)‏ • MURML (Multimodal Utterance Representation Markup Language for Conversational Agents)‏ • STEP (Scripting Language for Embodied Agents)‏ • TVML (TV-program Making Language) • APML • CML (Charakter Markup Language)‏ • VHML • HumanML (Human Markup Language)‏ • PAR (Task Definition Language for Virtual Agents)‏ • RRL (Rich Representation Language for the Description of Agent Behavior in NECA)‏

Ergänzung • MPEG-4 • MSAgent

„life-like“ Agents • Beschreibung mentaler Eigenschaften wie Wünsche, Ziele, Überzeugungen • Sowohl personale als auch soziale Intelligenz • Autonomes Verhalten? • Ausdrucksstarke Mimik und Gestik • Wahrnehmung, Reaktion auf andere Avatare und Objekte in der Umgebung • Kommunikation, Sprachgenerator • Beschreibung gesellschaftlicher / kultureller Aspekte

AML • Schwerpunkt: Soziale Intelligenz, Menschliche Gruppierungen, Organisation von großen virtuellen Welten • Syntax: Erweiterung von UML • „Philosophisches Konzept“ • Sehr komplex und umfangreich • Reines Meta-Modell

AML

AML • Vorteile • UML: Gute Übersichtlichkeit • Bietet nahezu grenzenlose Möglichkeiten • Welt und Avatare sind grundsätzlich erweiterbar, können beliebig ausdifferenziert werden • Eignet sich sehr gut zur Beschreibung „großer Welten“ mit vielen Objekten und Avataren und deren Beziehungen untereinander • Es können beliebig viele Handlungen / Bewegungen synchron ablaufen • Module sind vielseitig einsetzbar und wiederverwendbar

AML • Nachteile • Grosser Programmieraufwand • UMLs können zwar als XML-Dateien exportiert werden, diese sind jedoch nicht mehr intuitiv lesbar und nur schwer maschinenlesbar • Es gibt (meines Wissens) bisher keine Anwendung, die in der Lage ist, ein AML-Konzept umzusetzen • Rein theoretisches Konzept, Details werden nicht beschrieben • Große Lücke zwischen theoretischem Konzept und praktischer Umsetzung • Noch „Utopie“

CML (Character Mark-up Language) • Beschreibung • XML-Syntax (XSDL)‏ • Ziel: „believable human agents“ • Avatare mit intelligentem Verhalten, ausdrucksstarker Mimik und Gestik • Baut u.a. auf dem MPEG-4 Standard auf • Representation-Layer (MPEG-4)‏ • Animation-Layer (MPEG-4)‏ • Complex-Animation-Layer (CFML, CBML)‏ • Facial-Action-Layer (FACS)‏ • Personality- / Emotion-Layer (CML)‏

1. MPEG-4 <representation-layer> • BDP • Body Definition Parameter • XML-Standard zur Beschreibung der „menschlichen Anatomie“ • FDP • Face Definition Parameter • XML-Standard zur Beschreibung des Gesichts- / Kopfbereich

FDP Default Model • FDP bietet ein „Default Model“ an, das modifiziert werden kann vorher nachher

FDP 84 „feature points“, mit denen ein 3-D-Modell erstellt werden kann

FDP Face Styler Application • Die 84 „feature points“ können auch anhand eines Originalbildes ermittelt werden

2. MPEG-4 <animation-layer> • BAPS • Body Animation Parameter Set • XML-Standard zur Beschreibung von Körperbewegungen • FAPS • Face Animation Parameter Set • XML-Standard zur Beschreibung der Bewegungen von Mund, Nase...

CBML Character Body Mark-up Language Gruppierung von elementaren Bewegungen Beruht auf FAPS 3. <complex animation layer> • CFML • Character Face Mark-up Language • Gruppierung von elementaren Muskelspannungen im Gesichtsfeld • Beruht auf BAPS

FACS (Facial Action Coding System)‏ • Internationale Standardklassifikation der mimischen Muskelbewegungen im Gesichts- und Kopfbereich • Heben des oberen Lides wie beim „erstaunten Blick“ • Stirnrunzeln, „Sorgenfalte“ • Zusammenpressen der Lippen • Heben der Augenbrauen • Insgesamt über 40 mimische Ausdrücke, 5 Stärkegrade

CML Idee • „Animated lifelike character representations of agents will only be widely deployed when there are real-time mechanisms to contextually map character and affect models to effected animated personifications. To approach this the SAFIRA project utilises the design elements of an architecture for including personality and emotional responsivness in an interface agent...“ → Es fehlt nur noch ein „personality- und eine emotion-layer“

<emotion> <type {neutral/anger/disgust/fear /joy/sadness/surprise} /> <intensity {low/intermediate/high} /> <decay {0.n to n.n(unit)/default/slow/fast} <target {user/self/agent/object/...} /> <priority 0 to n /> <preEState emotion /> <transEState emotion /> </emotion> CML Emotion Definition CML Syntax <character> <name /> <personality {trait set Extravert/ Introvert/..} /> <role {Helper/Salesman/...} /> <gender M/F /> <charType Human/Non-Human/... /> <animationTool MPEG-4/LA/MSAgent/... /> <fapFiles {set of file names} /> <bapFiles {set of file names} /> <ttsEngine Festival/ViaVoice/... /> <voice {voiceId or wav files} /> ... </character> CML Character Definition

CML Bewertung • Ökonomisch, da CML auf bereits bestehenden Standards aufbaut • XML-Syntax ist sehr gut maschinenlesbar, plattform-unabhängig, internetfähig • Animation-Skripte können in Echtzeit erzeugt werden (?)‏ • Keine Utopie • CML-Referenz? • Dank XML grundsätzlich erweiterbar

HumanML • Ziele: • Clarify human communication in digital information systems • Bring human perspectives, characteristics, qualities and values into information technology • Identify and focus attention on uniquely human concerns • Ähnlich komplex und umfangreich wie AML, Metamodell, aber: XML-Syntax • Referenz: http://www.oasisopen.org/Sturmmitte/humanmarkup/schema/huml-primary-base-1.0.xsd

TVML • TV-Produktionen • Vordefinierte Charaktere, Räume, Objekte • ML dient zur Herstellung eines Animation-Skripts • Charaktere, Raum und Objekte einbinden • Bewegungen und gesprochene Texte inszenieren • Spezielle Filmeffekte (Beleuchtung, Kameraführung)‏ • Filmmusik (Filmbeispiel)‏

TVML Bewertung • Sehr gut dokumentiert • Anwender-freundlich, wenig Programmieraufwand • Intuitiv verständliche Syntax, leider kein XML • Es sind hauptsächlich lineare Animations-Skripte möglich, synchrone Handlungen / Bewegungen nur bedingt • Nicht interaktiv, vordefiniertes Animations-Skript • Zur Modellierung von neuen Charakteren / Objekten ist eine spezielle Software mit eigener Syntax nötig • In seinem Kontext originell, aber wenig abstrakt

Mark-up Sprachen zur Beschreibung von virtuellen Personen in virtuellen Umgebungen