Thilo Stadelmann und Dominik Seiler DFG Forschungsprojekt

1. Eine service-orientierte Grid-Infrastruktur zur Unterstützung medienwissenschaftlicher Filmanalyse Thilo Stadelmann und Dominik Seiler DFG Forschungsprojekt “Methoden und Werkzeuge zur rechnergestützten medienwissenschaftlichen Analyse“ Kulturwissenschaftliches Forschungskolleg SFB/FK615 “Medienumbrüche” Universität Siegen & Universität Marburg

2. Übersicht • Kontext • Projekteinordnung & Ziele • Medienwissenschaftliche Filmanalyse • Videana • Grid-Anbindung und –Architektur • Omnivore • SoA für die Multimedia-Analyse • Architektur • Flex-SwA • BPEL-Editor: ViGO • Mashup-Editor: MIRO

3. Sonderforschungsbereich „Medienumbrüche“ • 2002-2010 an der Universität Siegen • Untersuchung: • Bedeutung der Medienumbrüche, • Entstehung/Veränderung von Medienkulturen, • Entwicklung der Medienästhetik, etc. • Ziel: Vergleich der beiden Medienumbrüche • zu Beginn des 20. Jahrhunderts („analoge“ Medien) • im Übergang zum 21. Jahrhundert („digitale“ Medien) I – Kontext

4. Ziele Teilprojekt MT • Rechnergestützte Verfahren zur medien-wissenschaftlichen Analyse von Bild- und Videodaten • Entwicklung einer Grid-Infrastruktur für • parallele Ausführung rechenintensiver Algorithmen • einfachen Datenzugriff • Entwicklung von Suchwerkzeugen zum Finden von Kontextinformationen I – Kontext

5. Filmanalyse in den Medienwissenschaften • Ziel der Filmanalyse: Erkenntnisgewinn über Produktion, Wahrnehmung und Ästhetik von Filmen und Fernsehsendungen • Filmanalytisch relevante Aspekte von Filmen: • Montage der Kameraeinstellungen (Schnitte, Überblendungen, Schnittfrequenz) • Kameraeinstellungsgrößen (Totale, Nah), Kamerabewegungen • Texteinblendungen • Präsenz der Akteure • Auditive Informationen (Sprache, Musik, Nebengeräusche) • und viele andere ... I – Kontext

6. Videana: Ein Softwaresystem für rechnergestützte Filmanalyse • Automatische… • Detektion von Schnitten und graduellen Einstellungswechseln • Visualisierungen von Schnittfrequenz u.a. • Bestimmung von Kamerabewegung • Detektion von eingeblendetem Text • Detektion und (Wieder-)Erkennung von Personen • Erkennung von Audioinhalten (Musik, Sprache, Stille, …) • Metadaten werden im MPEG-7 Format abgelegt • Ziel: • Zeitersparnis • Überwindung der semantischen Lücke II – Videana

7. II – Videana

8. Videana: Grid-Anbindung • Motivation: • Rechenintensive audio-visuelle Analyse-Jobs • Ziel: • Zugang zu High-Perfor-mance Computing für medienwissenschaftlicheNutzer • Basierend auf: • GridWay • Omnivore • Globus Toolkit 4 II – Videana

9. Omnivore • Dezentrales Job-Scheduling-System • d.h. „Desktop“-Grid, „Cluster“ ohne spezielle Grid-Middleware • Grundlegende Systemkomponente: P2P-basierter Meta-Scheduler PPM • Skalierbare und ausfallsichere Umgebung zur Jobausführung • P2P-Netzwerk pflegt und repariert sich selbst • Keine Administration direkt an den einzelnen Knoten • Möglichkeit zur Integration in GridWay (Grid Meta-Scheduler) II – Videana

10. Omnivore im Einsatz II – Videana

11. Omnivore-Architektur I • Informationskomponente • Sammelt Informationen über das Gesamtsystem • Anzahl verfügbarer Knoten • Informationen können an GridWay weitergereicht werden • Knoten werden in dynamischer Baumstruktur verwaltet • Speicherkomponente • Redundanten Speicherung und dezentrale Verwaltung • Daten • Jobdaten (Ein- und Ausgabedaten) • Meta-Daten zur Jobausführung II – Videana

12. Omnivore-Architektur II • Ausführungskomponente • Jobbeschreibung • Job Submission Description Language (JSDL) • Unterstützung von Globus GRAM • JSDL -> RSL (Resource Specification Language) • Job-Weiterleitung • Jobausführung mit Hilfe lokaler Scheduler bzw. weiterer Grid-Middleware II – Videana

13. Service-orientierte Architektur für die Multimedia-Analyse • Videana MM-SoAmedienwiss. Endanwender Entwickler • Decoding • Video-Splitting • MPEG-7 Konvertierung • Schnitt-Erkennung • Kamerabewegungs-Erkennung • Text-Detektion • Text-Segmentierung • Gesichts-Detektion • Audio-Resynthese schicht III – SoA

14. Flex-SwA • Flexible Behandlung von SOAP Nachrichtenanhängen im service-orientierten Umfeld • SOAP-Nachrichten enthalten nur noch Referenzen auf Daten • Einbeziehung von „Remote“-Daten möglich • Transport der Daten übernimmt Flex-SwA-Plattform • Adaptive Unterstützung verschiedener Transportprotokolle • TCP, UDP, FTP, GridFTP III – SoA

15. ViGO: BPEL-Editor x • Visual Grid Orchestrator (ViGO) • Erstellung von komplexen Workflows auf Basis von Web und Grid Service • BPEL 1.1 • Flex-SwA • Vermeidung von unnötigen Datentransporten von und zur ausführenden Engine • Elastic Compute Cloud (EC2) Anbindung III – SoA

16. III – SoA

17. MIRO: Mashup-Editor xxxxx • Erstellung von verteilten Anwendungen durch den Anwender im Browser • Unterstützung von • Web und Grid Services • Populären Webanwen-dungen / API‘s • Google Maps, Flickr, …. • Cloud-Anbindung • Implementierung auf Basis von Adobe Flex 3 • Verschiedene Betriebsmodi • Entwickler- und Benutzer-Modus III – SoA

18. MIRO: Benutzer-Modus III – SoA

19. MIRO: Entwickler-Modus III – SoA

20. Ausblick • Engere Kopplung bzw. teilweise Integration der SOA-Werkzeuge (MIRO, ViGO) in Videana • Import neuerzeugter Analyseanwendungen in Videana • Weiterentwicklungen der Werkzeuge und Algorithmen III – SoA

21. Vielen Dank!