Anwendungssysteme für MPEG-4

1. Anwendungssysteme für MPEG-4 Das Forschungsprojekt„Interaktive Audiovisuelle Anwendungssysteme“ H. Drumm, U. Kühhirt, M. Rittermann 20. FKTG-Jahrestagung, 11. Juni 2002, Zürich

2. 3D-Szenen universelles Multimedia-format Medien-objekte MPEG-4 spezialisierteA/V Codecs hohe Codier-effizienz aber Wo ist all dies umgesetzt?

3. Anwendungen: viele Schlagworte Interaktion in 3D-Szenen Video Conferencing Medien- objekte Digital Cinema Advanced Audio Coding Shaped Video Sprite Coding Text2Speech Video via Internet Facial Animation Very Low-Bit Speech

4. MPEG-4 Part 1: Systems Part 2: Visual Part 3: Audio ... Part 6: DMIF ... Part 5: Reference Software ... Part 8: 4 on IP

5. Der „Systems“-Grundgedanke System • 2D-, 3D-Szene • Objektbeschreibung • Interoperation visuell auditiv • natürliches Video • shaped Video • Gesichtsanimation • 2D-, 3D-Meshes • Skalierbarkeiten • AAC • Sprachsynthese • parametrische Codierung

6. Die digitale Medienkette 1. Produktion 2. Codierung, Transmission 3. Interaktive Applikation • Rendering visuell  auditiv • verschiedene End-geräte/Applikationen • Hardware-Beschleunigung • Java-API • Objekt-Codierung • Datenmanagement • Adaption an Transportschicht • Aufnahme • Modellierung • Authoring • Metadaten

7. Warum Anwendungssysteme? Inhaltsadaptive Beschreibung von der Generierung bis zur Präsentation • im 3D-Kontext mehrere Perspektiven, Perspektivwahl  Wiedergabe auf 3D-Display • objektbezogen Interaktion, Interoperation • Skalierbarkeit Wiedergabe auf verschiedenen Plattformen • Wiederverwendbarkeit nutzbar für weitere Produktionen

8. Forschungsprojekt IAVASInteraktive Audiovisuelle Anwendungssysteme • Institut für Medientechnik • Projektleiter: Prof. Dr.-Ing. Karlheinz Brandenburg • 6 (+2) Wissenschaftler, Studenten, etc. • Laufzeit: 3 Jahre • Vernetzt mit Fraunhofer IIS

9. Typische Beispiele • Wahl der Perspektive in einer Theaterszene

10. Steckbrief John Brown 28 Jahre London 13 Länderspiele 9 Tore 3 Gelbe Karten 1 Rote Karte Steckbrief Typische Beispiele • Fußballspiel: Perspektivenwahl, Objektwahl, Infos

11. IAVAS-Szenario y background So und x z shaped ject video ob Compositor synthetic 3D objects reaction 3D Audio topography motion directivity camera tracking

12. y x z Produktion im MPEG-4 Kontext • Veränderung des Produktionsprozesses • Erzeugung von Shaped Video Objekten • Platzierung natürlicher&synthetischer 2D/3D-Objekte • Tracking- und Animationsdaten • Beispiel: räumliche Erfassung von Shaped Video und Audio-Objekten

13. Szenengraph 2D-Layer 3D-Layer 2D-Layer y x z Szenenkomposition • BInary Format for Scenes (BIFS) • virtuelles Set, A/V-Objekte, Interaktionsskripte

14. y x z Szenenrealismus - AFX (Advanced Framework eXtensions) • Vergabe von Materialeigenschaften • Reproduktion natürlicher Effekte • Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen • Reproduktion technischer Effekte • Bewegungsunschärfe, Tiefenschärfe, etc.

15. y x z Virtuelle Raumakustik • Platzierung und Animation von Audioquellen • Aufzeichnung von „trockenen“ Audiosignalen • Zuweisung von akustischen Materialeigenschaften  Materialbibliothek • Absorption, Reflexion, Transmission • Raumsimulation  „Hören mit den Ohren der Kamera“

16. y x z Interaktivität • freie Wahl des Betrachterstandortes • Nutzung von Metainformationen durch den Zuschauer • aktive Beteiligung des Zuschauers am Sendeablauf durch Interaktion • Austausch von einzelnen Media-Objekten

17. Datenmanagement Zielstellung: • Organisation von Objekten und Szenen • Unterstützung eines auf mehrere Autoren verteilten Authoring-Prozesses • Erfassung und Verwaltung der anfallenden Meta-Daten • Mehrfachnutzung der erstellten Inhalte • Suchmöglichkeiten • Steuerung des Zugriffes für Produzent und Konsument • Archivierung

18. Datenmanagement Anforderungen an das System: • Verwaltung von Objekten (Media-Objects) • Verwaltung von Baumstrukturen (Scene Description, XML, VRML, X3D, ...) • Bearbeitung und Speicherung von Teilbäumen • strukturierte Zugriffskontrolle • Rechte der Benutzer und Benutzergruppen administrierbar • Sicherheitsmechanismen auf Knotenebene anwendbar • Integrierbarkeit in Authoringsysteme(APIs für gängige Programmiersprachen)

19. Datenmanagement XML-Server

20. Präsentationsplattformen Anforderungen: • Konformität bzgl. der für das Endgerät geeigneten Profiles und Levels • bidirektionale Kommunikation zur Nutzung der erweiterten Funktionalität (z. B. Interaktion, Endgeräteadaption) • klientenseitige Nutzerverwaltung ermöglicht gezielte Wiedergabe und dessen Eigenschaften • Wiedergabe auf verschiedenen Endgeräten über verschiedene Transportwege (z. B. DVB, IP, ADSL, ...) • Beispiel: Messeszene

21. Beispiel Hardwareunterstützte Berechnung von Virtueller Akustik • Hardwareunterstützung: Entlastung der CPU • Einsatz von APIs für „3D-Audio“: • OpenAL • Creative EAX 3.0 = EAX ADVANCED HD™ (SB Audigy) • Gewinnung von EAX listener und source properties aus Szenenbeschreibung (MPEG-4 Knoten) • Integration in ein VRML-Projekt • To Do: Einbindung in MPEG-4 Technologie / Player

22. Demonstrationen • Demonstrator auf Basis eines VRML-Browsers • Demonstration eines IAVAS-Szenarios • look-and-feel • MPEG-4 nahe Umsetzung • Messeszene • Integration von MPEG-4-konformen shaped Videosequenzen in 3D-Szenen • Authoring Tool für Interaktionsskripte • Bearbeitung von MPEG-4 Szenengraphen und Objektbeschreibungen

23. Demonstrator

24. Messeszene

25. Authoring Tool für Interaktionsskripte

26. Vielen Dankfür Ihre Aufmerksamkeit.