Aspekte von Komplexität und Ästhetik im Multimedia-Design

1. Aspekte von Komplexität und Ästhetik im Multimedia-Design I. Grundlagen II. Praxis / Implementation Einführung Computer als Theater Andreas Goppold MM-Infrastrukturen Das Aktor-Prinzip Aspekte des MM-Designs Morphologische Operatoren MM-Design in A Nutshell Design und Zeit

2. Einführung: Umrisse und Kernthemen • Dieser Vortrag soll in ca. 30 Minuten (plus 10 min. Demo) folgendes vorstellen: • einen Umriss von Kernthemen und Prinzipien des MM-Designs • z.B. Inhalt von einigen Semestern Arbeit am Detail - oder auch - • als Grundlage eines Programms für Lehre und Forschung der nächsten Jahre.

3. Der Vortrag als Navigations-Zentrum für die Texte-CD • Als Ausgleich für die z.T. extreme Verkürzung der Themen wird eine CD mitgeliefert. • Der Vortrag fungiert als Navigations-Zentrale für die CD. • Hier liegen mehrere MB WWW-Texte in HTML-Datenbasis. • Von den Vortragsfolien führen Hyper-Links auf die Texte • Dort sind die einzelne Konzepte detailliert ausgearbeitet und können bei Bedarf / Interesse nachgesehen werden.

4. Zur WWW-Version der Präsentation • Dies ist die WWW-Kopie eines Offline-Live-Vortrags. • Die Hyper-Links dieser Power-Point-Präsentation waren original auf lokale Files eingestellt. • Die WWW-URLs wurden zwar eingefügt, aber nicht im WWW getestet. • Evtl. muss das Material von der URL auf eine lokale Platte kopiert werden. • Die Kaleida Dreamscape MM-Demo kann leider nicht ins Netz gestellt werden. Sie ist nur als Live-Demo vorgesehen.

5. MM-Design und Edutainment • Die Edutainment-Komponente soll in dieser Vorstellung nicht zu kurz kommen. • Ein wesentlicher Teil des Vortrags ist daher die • Kaleida Dreamscape MM-Demo • Hier werden die vorgestellten Konzepte interaktiv und intuitiv erfahrbar. • Sowie die LPL-Aktor-Demo • (demo.exe: wird lokal entpackt und gestartet) • Unter dem Motto: “MM-Design by Playing and Exploring“.

6. Grundlagen der Informatik und MM-Infrastrukturen • Zu MM-Infrastrukturen gehören adäquate • Development-Support-Tools. • Aus eigener Entwicklung liegt ein komplettes SW-Development-Support-System vor, das • LPL-System mit: • Hypertext integriertem Editor • User Interface / Windowing / Datenbank • VM Technology / Scripting • Dies ist auch für Informatik-Grundlagen-Themen verwendbar und kann bei Interesse hier weiter verfolgt werden.

7. Aspekte des MM-Designs • Übersicht der folgenden Themen -- • Komplexitäts-Management • Multimedia Design in a Nutshell • Der ökonomische Engpass • MM-Design im Spannungsfeld von Komplexität und Ästhetik • Die “Neuronale Frontier“

8. Komplexitäts-Management • Komplexitäts-Management ist ein Zentral-Thema von Computing allgemein, damit auch für MM-Produktion. • Dies betrifft vor allem die SW-Engineering-Aspekte der MM-Produktion. Diese Aspekte werden in der Informatik intensiv behandelt. • Hier soll ein Ansatz zur Kapselung von Komplexität vorgestellt werden. • Dies ist von besonderem Interesse für MM-Produktion im pädagogischen und künstlerischen Bereich.

9. Multimedia Design in a Nutshell • MM Design konvergiert (m.E.) mit der Technologie-Entwicklung hin zu • Real-Time Generierungund • Kontrollevon • Virtual Reality Szenen • Mit der Leit-Metapher: • Computer als Theater • Dies wird im zweiten Teil anhand der Kaleida-Beispiele weiter vertieft.

10. Der ökonomische Engpass • Der Aufwand für hochwertige MM-Produktion läßt sich zu selten über eine hinreichende Abnehmerbasis amortisieren. • Dies betrifft besonders den pädagogischen und künstlerischen Bereich. Für MM-Werbung mit geringen Niveau-Ansprüchen ist dagegen immer genug Geld vorhanden. • Ausweg: CA-MM-Engineering. Methoden zur industriellen MM-Fertigung. • ABER: MM-Design ist ebenso ein künstlerisches / ästhetisches Thema.

11. MM-Design im Spannungsfeld von Komplexität und Ästhetik • MM-Design beinhaltet Kommunikation und Komm-Union von zwei u.u. extrem verschiedenen Denkwelten: • Der Welt der Informatiker, Mathematiker, Techniker, Ingenieure... • Beherrschung von Symbolsprachen, explizites Wissen, Präzision, Formalisierung, Komplexität, Effizienz... • Der Welt der Pädagogen, Künstler, Designer, Märchen-Erzähler, Visionäre... • Die subsymbolische (neuronale) Welt, Intuition, Gefühl, implizites Wissen (Polanyi).

12. Die „Neuronale Frontier“ • Die „Frontier“, hier gebraucht in der spezifisch amerikanischen quasi-mythologischen Bedeutung: dem Vormarsch einer Zivilisation, die sich einen neuen Kontinent erobert. • Mit MM betritt die Technologie das Territorium der • neuronalen subsymbolischen Welt von • Intuition, Gefühl, und implizitem Wissen (Polanyi). • Weitere Texte: 1234 . . .

13. Warum MM-Produktion so aufwendig ist • SW-Produktion muss immer zwei Welten in Vereinbarung bringen: • Die Konzept-Welt des Anwenders und die des Programmierers. • Meist sind aber eine beide Welten Symbol-orientiert und es existiert größere Übereinstimmung. • Bei MM-Produktion aber: • ergibt sich aufgrund der o.g. Faktoren eine tiefere kognitive Dissonanz.

14. Das Spannungsfeld von Notwendigkeit und Freiheit • Das Spannungsfeld von • Komplexitäts-Management und Ästhetik im MM-Design • entspricht dem philosophischen Grundthema der Polariät von • Notwendigkeit und Freiheit.

15. Ergänzung der Skills von Technik und Ästhetik • Mit dem folgenden Ansatz wird angestrebt: • eine bessere Ergänzung / Synergie der komplementären Skills • die bei der Erstellung eines MM-Projekts zusammenfinden müssen. • D.H.: Bessere Kapselung der Komplexität • Und Entkoppelung von technischer Implementation und künstlerischer Gestaltung

16. Der vorgeschlagene Lösungs-Weg: Das Aktoren-Lego-Prinzip • (Inter-) Aktoren • Das Lego-Prinzip • Mit diesen Prinzipien wird MM-Produktion in zwei organisatorisch getrennte Phasen aufgeteilt: • a) Technische Implementation von Aktoren • b) Ästhetische und Design-Arbeit nach Art eines Lego-Baukastens mit vorgefertigten halb-intelligenten Modulen, genannt Aktoren. • Die technische Realisation dieser Prinzipien wird im folgenden Teil: Praxis / Implementation weiter ausgearbeitet

17. Teil II: Praxis / Implementation • Hier soll anhand der Demo der Kaleida Dreamscape MM Virtual Reality Simulation die MM-Design Metapher von • Aktoren • Lego-Prinzip und • Computer als Theater • näher betrachtet werden.

18. Computer als Theater • Stage: die Bühne / Bildschirm-Fenster / Virtuelle Räume • Cast: die Aktoren / Objekte / Darsteller • Score: die Handlung / Drehbuch / Regie-Anweisungen / Script Brenda Laurel / Macromedia Director

19. Die "Persönlichkeit" des Aktors • Aktoren sind erweiterte Objekte • die den allgemeinen Gesetzen ihrer VR folgen • und darin • quasi-autonom, skriptgesteuert interagieren. • Der Benutzer ist „Super-Aktor“. • Technische Komponenten des Aktors • Actor Command Language (Messages) • Display / Menu aller Aktions-Möglichkeiten • Display des inneren Zustands • Tracing / Debugging der Aktionen • Programmtechnische Realisation siehe LPL-Demo und Kaleida Dreamscape Demo

20. Das didaktische Konzept des Aktors • Das Aktor-Konzept basiert auf der Definition von Schnittstellen, und zwar • zwischen Programm-Modulen (Common Interface ASCII: CIA) und • zwischen Menschund Programm (HCI). • Hier als • User Interface Language (UIL) und als • End User Programming Language (EUPL). • Das Prinzip: Learning by Doing

21. Aktoren als Kooperative Verteilte Prozesse • Mögliche Anwendung in Gruppen-Kommunikations-Systemen • The Net is The Computer (SUN) • Aktoren sind separate Prozesse • Kommunikation im Netzwerk • Transparent, ob Multi-Thread / -Task / Intra- / Internet • Die Regie ist eine Kommunikations-Ressource

22. Weiterentwicklung • Installation dieser Konzepte in geeigneten Systemen, z.B. LPL oder Java • Virtual Machine Prinzip • Aktoren (LPL Aktoren-Demo) • Software Lego Prinzip (Weitere Texte) • Mögliche Implementation eines Kaleida-Clones

23. Exkurs: Erweiterte Datentyp-Transformations-Technologien • Multimedia basiert auf zwei prinzipiell verschiedenen Daten-Technologien • Bild- und Ton-Skripte: Midi Postscript VRML ... • flexibel, relativ kleine Datenmengen, komplizierte Erstellung, Image Generation Bottleneck • Bitmap- / Sampling Dateien: .wav .mov .avi ... • inflexibel, große Datenmengen, komplizierte Manipulation, Data Storage & Transfer Bottleneck

24. Morphologische Operatoren • Die effizientere Manipulation von Bitmap- /Sampling Dateien erfordert neue Klassen von Algorithmen. • Pattern Matching und Transformation von Bitmaps analog zu Regular Expressions: Perl / APL for Bitmaps • Fuzzy Boundaries, Fuzzy Criteria • Neuronale Algorithmen • Implementations-Arbeiten dazu in Zusammen-Arbeit mit Univ. Jena. • Texte: Meta-Morphologie 123

25. Multimedia: Design und Zeit (-Struktur - Management) • Dies betrifft einen grossen Teil der Materialien auf dieser WWW-Site und wäre Gegenstand weiterer Vorträge: • Design und Zeit:MM-Design als Choreographie • Die NeuronaleKomponente • Kognitive Aspekte der Zeitstruktur • Mensch / Maschine Interaktion (HCI) • Neuronale Koppelung / Flow Effekt • Texte: 123

26. Kaleida und Director • Ein Vergleich der Design-Prinzipien -- • Kaleida • ++ sehr geeignet für VR-Metapher (siehe Demo) • ++ sehr flexibel • + objektorientiert, komplex, mächtig • - - für Künstler zu kompliziert • Director • ++ Vom Film entlehnte Storyboard-Metapher • + für Künstler gerade noch zu handhaben • +- einfaches Daten-Modell • - wenig flexibel • - - nicht geeignet für VR-Metapher

27. Fazit • MM Director hat zwar die "Computer-Als-Theater" Metapher realisiert, aber auf sehr eingeschränkte Weise: • Es existiert nur ein Aktor: Die Bühnen- / Präsentations-Maschinerie. • Im Theater nannte man das: Deus ex Machina

28. The End • Ich danke für Ihr Interesse!

29. Evtl. Teil III: Infrastrukturen der MM-Produktion • Hier ein Exkurs zu MM-Infrastrukturen und Verbindung zu dem LPL System. • Multimedia Erstellung erfordert die Verwaltung und Integration von Ressourcen der verschiedensten Typen und Arten.

30. Multimedia-Infrastrukturen • Der Umfang eines größeren MM-Projekts kann • 100+ Directories und • 1000++ Dateien umfassen. • Hier sollte ein leistungsfähiges Projekt-Management-System eingesetzt werden. • Dazu wird der Ansatz des LPL Systems kurz vorgestellt.

31. Projekt-Management mit dem LPL System • Entwicklungs-System "Hand-in-Glove" angepasst an die Anwendung • Fine-Tuning von Hypertext- / File-Management • Selektive Syntax-gesteuerte Anzeige (Fish Eye) • Siehe LPL-Demo • Durch Integration von Perl Zugriff auf die gesamte Perl Filter- / Extraktor- / Konverter Palette (CPAN-Archiv). Z.B. automatische Generierung von HTML Doku aus Programm-Source, CGI, etc. etc.

32. Versionen des LPL Systems • Das LPL System befindet sich in der Migration zwischen zwei Versionen: • LPL in der DOS-BOX, hier als LPL Demo • Script-Programmierung / Borland-Turbo Metapher • komplett mit Hypertext/ Folding /Auto-Demo • Texte • LPLnt für Win32 • in Entwicklung, PreView Version • integrierte Win32 API • interaktive Perl Shell • Technische Basis für MM-Scripting und Authoring • u.v.a.m.

33. Weitere Ergänzungen • Das LPL Prinzip, genannt TLSI • Token Listen Subroutine Interpreter • Technisch gesehen, ist LPL ein: • interaktiver, incrementeller, rekursiver, objekt-orientierter • Macro-Assembler • für Java-ähnliche VM-Typen

34. Vom LPL-Assembler zum SW-Lego • Das SW Lego-Prinzip ergibt sich • aus der konzeptuellen Simplizität des Assemblers • aus der direkten, haptischen Metapher eines greifbaren „Objekts“ im Computer (Ishii, MIT) • OO-Aktor-Design • Transparenz der Kombination der Bausteine (Orthogonalität) • Selbst-Darstellung und Selbst-Erklärung der Aktoren