1 / 40

Motion Capturing aktuelle Techniken für den Entertainmentbereich

Motion Capturing aktuelle Techniken für den Entertainmentbereich. von Axel Bohlmann und Julian Engels 06/2002. Grundidee. • Bewegungen technisch aufzeichnen (digitalisieren) • Aufgezeichnete Daten sammeln, speichern und analysieren • Daten auswerten, interpolieren und glätten

masako
Download Presentation

Motion Capturing aktuelle Techniken für den Entertainmentbereich

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Motion Capturingaktuelle Techniken für denEntertainmentbereich von Axel Bohlmann und Julian Engels06/2002

  2. Grundidee • Bewegungen technisch aufzeichnen (digitalisieren) • Aufgezeichnete Daten sammeln, speichern und analysieren • Daten auswerten, interpolieren und glätten • Übergabe der Daten an ein Animationsprogramm, um Bewegungsdaten auf virtuelle Charaktere zu übertragen • Den gesamten Prozess in Echtzeit ausführen

  3. Einsatzgebiete • Entertainment (Film, TV, Spiele) • Simulation (Raumfahrt) • Steuerung, Regelung (Industrie) • Medizin

  4. (1/6) Geschichte 1937 Für den Zeichentrickfilm „Schneewittchen“ nimmt Walt Disney reale Schauspieler auf Video auf, um ihre Bewegungsabläufe einzelbildweise zu analysieren. Die Bewegungen überträgt er auf die gezeichneten Charaktere (Rotoscoping). 1975 In den späten 70ern wird es möglich, Charaktere mit dem - Computer zu animieren. Man beginnt, die traditionellen 1980 Animationstechniken in den Computerbereich zu übertragen - dazu gehört auch das Rotoscoping als primitivste Art bzw. Vorstufe des Motion Capturing. Für Twyla Tharp's Film „The Catherine Wheel“ lässt Rebecca Allen am „New York Institute of Technology Computer Graphics Lab“ Videos von realen Tänzern auf halbtransparente Spiegel vor Computermonitoren projizieren. Damit können die virtuellen Charaktere gemäß den realen Bewegungen per Keyframetechnik animiert werden.

  5. (2/6) Geschichte 1980 An der Simon Fraser University werden für medizinische Studien - Goniometers entwickelt, mit denen mit Hilfe des Computers 1983 menschliche Bewegungen analysiert werden sollen.Prof. Tom Calvert entwickelt das ein Exoskeleton, das mit Potentiometern die Bewegung einzelner Gelenke aufzeichnen, digitalisieren und an einen Computer übertragen kann. Durch diese Automatisierung wird der Begriff „Motion Capturing“ erstmalig definiert. Die MoCap-Technik findet sehr schnell ihren Weg vom medizinischen Sektor in den Computeranimationsbereich. Fast zeitgleich mit den ersten mechanischen MoCap-Systemen werden am MIT erste Experimente mit optischen Tracking-Systemen für menschliche Bewegungen durchgeführt (Graphical Marionette, 1982-83). Durch eine noch unzureichende Technik (erheblicher Rechenaufwand=sehr teuer) werden jedoch zunächst die mechanischen Systeme für den MoCap-Einsatz favorisiert. (Heutige optische Systeme arbeiten immer noch nach identischem Schema, liefern aber durch modernste Technik beste Ergebnisse)

  6. (3/6) Geschichte 1988 Mit „Mike the Talking Head“ demonstrieren deGraf/Wahrman die Rechenleistung der neuen SGI-Computer (4D-Serie). Über eine spezielle Steuerung wird eine Puppe bewegt. Die Bewegungsdaten werden an den Computer übertragen, der dann die Interpolation berechnet. Dies alles passiert in Echtzeit. Mit der Fähigkeit Bewegungsdaten in Realtime aufzeichnen und wiedergeben zu können, werden somit MoCap-System immer interessanter für Produktionen im Entertainment-Sektor. Pacific Data Images (PDI) kann mit den neuen SGI-Workstations und der Weiterentwicklung der gesamten Sensortechnik zum ersten Mal zufriedenstellende MoCap-Ergebnisse erzielen (Waldo C. Graphic). Die Echtzeit-Renderings sind aber noch so schlecht, dass die Szenen (mit den aufgezeichneten MoCap-Daten) nachgerendert werden müssen.

  7. (4/6) Geschichte 1989 Auch die optischen Systeme werden weiterentwickelt und können endlich mit der fortgeschrittenen Technologieentwicklung erstmalig begrenzt (kleiner Aktionsraum, kein Realtime) für Produktionen eingesetzt werden. Kleiser-Walczak setzt nach einigen Experimenten für „Dozo“ ein System von Motion Analysis ein. 1991 Basierend auf dem Waldo C. Graphic-Videosystem wird mit hohem technischen Aufwand in Frankreich mit „Mat - the Ghost“ der erste digitale Realtime-Charakter für den täglichen Live-Einsatz entwickelt. „Mat“ bedarf keiner weiteren Postpro-Bearbeitung und wird in Echtzeit per Chromakeying in das Fernsehbild eingefügt, wo er mit echten Darstellern interagiert. Gesteuert wird „Mat“ über Datenhandschuhe (Datagloves), Joysticks, Midi-Drum-Pedale und Polhemus-Tracker. 1992 SimGraphics entwickelt nach ihrem Datenhandschuh (‘87) das erste facial tracking System (Face Waldo), das den natürlichen menschlichen Gesichtsausdruck „erfassen“ kann. Eingesetzt wird es hauptsächlich für Live-Shows von Nintendo. Dort agiert die virtuelle Kultfigur „Mario“ mit den Zuschauern .

  8. (5/6) Geschichte 1992 Brad deGraf entwickelt sein eigenes Realtime MoCap-System „Alive!“. Es nutzt neben den immer häufiger eingesetzten elektromagnetischen MoCap-Systemen eine spezielle Handsteuerung für die Gesichtsanimation. „Alive!“ wird u.a. bei der TV Show „Moxy“ eingesetzt. Der Hund „Moxy“ muss jedoch nachgerendert werden, um den gestiegenen Anforderungen gerecht zu werden. 1993 Acclaim begeistert auf der Siggraph mit seinem neuen optischen System, welches bisher nicht erreichte Genauigkeit und Performance (zwei Charaktere in Echtzeit) an den Tag legt. Acclaim vermarktet das System jedoch nie, sondern setzt es nur für Produktionen ein. bis In den letzten Jahren haben die MoCap-Systeme eindeutig ihr 2002 Entwicklungsstadium überwunden. Es gibt bereits etablierte Firmen, die komplette MoCap-Systeme für Produktionen vertreiben. Generell ist MoCap ein Marktsegment im Animationsbereich geworden, weshalb sich Firmen gegründet haben, die sich ausschließlich auf MoCap-Produktionen spezialisiert haben.

  9. (6/6) Geschichte bis Es werden sowohl mechanische als auch elektromagnetische und 2002 optische Systeme verkauft. Dabei tauchen immer mehr Nachteile bei den mechanischen Systemen auf. Die optischen Systeme sind zwar noch sehr teuer, doch erzielen sie die besten Ergebnisse. Mit der Weiterentwicklung der Computertechnologie wird die Leistung der optischen Systeme ebenfalls skaliert werden können. Damit gibt es bei diesen System keine Grenzen, weshalb sie sich in der Zukunft durchsetzen werden.Die aktuellen Systeme werden im folgenden beschrieben ...

  10. Ablauf • Kalibrierung des Systems • Aufzeichnen der Bewegungen mittels Devices (Sensoren od. Kameras) • Übertragung der Daten an Workstation(s) per Kabel oder Funkübertragung (ggf. über Server bzw. Databox) • optisch: Berechnung der 3D Daten anhand der Kamerabilder • Weiterverarbeitung (Glättung, Interpolation, u.a.) über systemeigene Software oder Spezialsoftware wie Kaydaras Filmbox. • Export und Weiterverarbeitung der Bewegungsdaten inAnimationsprogrammen (Maya, Softimage)

  11. Techniken • Mechanische Systeme • Elektromagnetische Systeme • Optische Systeme (aktiv / passiv) • (Hybridsysteme)

  12. Mechanische Systeme • Messen der Gelenkbewegungen durch mechanische Sensoren (Potentiometer) • Sensoren befinden sich an einem Gestänge (Exoskeleton) verknüpft mit einem Anzug für den Darsteller • Daten werden direkt am Körper gesammelt und via Kabel oder Funk (RF) an eine Workstation bzw. einen Server übertragen

  13. Mechanische SystemeBeispiel: Gypsy von Analogus Corp.

  14. Mechanische SystemeSpezifikationen: Gypsy von Analogus Corp. • 43 Bewegungssensoren • 17 Gelenke werden erfasst • Unendlich vielen Menschen können Exoskeletone angelegt werden, d.h. Anzahl der simultan aufgenommenen Personen ist unendlich hoch und somit abhängig von der Anzahl der COM-Ports an PC/Workstation • Übertragungsentfernung kann 0,8km außen und 180m innen betragen • Bilder können mit einer Rate von bis zu 120fps aufgenommen werden • Frei von Fehlern durch Verdeckung der Sensoren • Sensoren können Bewegung ab 0.08° erfassen • RealTime Performance in Verbindung mit fremder Software (Filmbox) möglich • Es kann bis zu 4 Stunden "gecaptured" werden • Preis: ca. 30.000€

  15. Mechanische SystemeNeuentwicklung: Shape Tape von Measurand • Neuartiges mechanisches Motion Capture System mit faseroptischen Krümmungssensoren • Unkompliziert zu bedienen und vielseitig einsetzbar (realtime-tauglich)

  16. Mechanische SystemeSysteme und Hersteller • Gypsy (Analogus Corp.) • Body Tracker II (Puppet Works) • FullBodyTracker (X-IST, noDNA) • Shape Tape (Measurand)

  17. Elektromagnetische Systeme • elektromagnetisches Erfassen der Position und Ausrichtung (6 Datenströme) von Sensoren • Ein Transmitter erzeugt ein tieffrequentes magnetisches Referenzfeld, welches den Sensoren (Receiver) zur Positionsermittlung dient • Sensoren sitzen auf einem speziellen Anzug. Es spielt keine Rolle, ob sie von Kleidung verdeckt werden • Daten werden direkt in einer Box am Körper gesammelt und via Kabel oder Funk (RF) an eine Workstation bzw. einen Server übertragen

  18. Elektromagnetische SystemeBeispiel: Motionstar von Ascension

  19. Elektromagnetische SystemeSpezifikationen: Motionstar von Ascension • maximal 18 Sensoren pro Person • Bis zu 5 Personen können gleichzeitig erfasst werden und interagieren • Übertragung ist bis zu 3,05m einwandfrei gewährleistet • Abweichungen von 0,8cm/1,27cm (Position/Ausrichtung) bei 1,52m Entfernung zum Transmitter. Bei der maximalen Entfernung von 3,05m entstehen Abweichungen von 1,5cm/2,54cm (Position/Ausrichtung) • Durchschnittliche Auflösung beträgt 0,08cm/0,254cm (Position/Ausrichtung) bei 1,52m Entfernung zum Transmitter. Sie steigt auf die Werte 0,25cm/0,5cm (Position/Ausrichtung) bei der Maximalentfernung von 3,05m. • Es sind 120 Messungen pro Sekunde möglich • Realtime Performance ist ebenfalls möglich • Preis: ab 25.000€

  20. Elektromagnetische SystemeSysteme und Hersteller • Flock of Birds / Nest of Birds (Ascension) • Motionstar opt. Wireless, Realtime (Ascension) • Star*Trak (Polhemus Inc.) Vorgängermodel: Ultratrak - wird noch verkauft • MagMesh (Tyrell Innovations)

  21. Optische Systeme (passiv) • mehrere Spezialkameras erfassen durch LEDs erzeugte Reflektionen die Positionen von Markern • Marker (Reflektoren) bestehen meist aus halbkugeligen, elastischen Bällen, die ohne Spezialanzüge direkt an Akteuren befestigt werden können • die verschiedenen Kamerabilder werden in einer Datastation gesammelt und mit einer Workstation analysiert und ausgewertet

  22. Optische Systeme (passiv)Beispiel: Vicon V8i

  23. Optische Systeme (passiv)Spezifikationen: Vicon V8i • All in One System (Hardware und Software explizit von Vicon) • Robuste Verarbeitung für den mobilen Einsatz • Fullbody incl. Face Motion Capturing mehrerer Personen • Gleichzeitige Realtimeberechnung und Offline-Daten-Aufzeichnung • Unterstützt bis zu 24 Kameras • Theoretisch unbegrenzte Anzahl von Markern einsetzbar • Genauigkeit von +/- 0.2mm bei 250 fps • bis zu 24 Stunden Aufnahmekapazität • Einsatz der MCam2: - Auflösung 1280 x 1024 Pixels bei 1000 fps, Reichweite bis zu 25 m - red-LEDs oder IR-LEDs einsetzbar - Vielfältige Einstellmöglichkeiten und große Anzahl von Objektiven verfügbar • Preis: ab 200.000 € - nach oben offen

  24. Optische Systeme (passiv)Screenshots: Motion Analysis Software

  25. Optische Systeme (passiv)Systeme und Hersteller • Vicon V8i / V6 (Vicon Motion Systems) • Eagle Digital System (Motion Analysis Corp.) • Falcon Analog System (Motion Analysis Corp.) • Peak Motus (Peak Performance Technologies) Hybridsystem, da es zusätzlich mit Videoanalyse arbeitet • Digital Motion Analysis System - DMAS (SPICAtek) • OptiMesh (Tyrell Innovations)

  26. Optische Systeme (aktiv) • mehrere (i.d.R 2-4) Tracker erfassen die Positionen von aktiven LED-Markern • Die LED-Marker befinden sich an einem Spezialanzug und sind an ein Target Control Module (TCM) angeschlossen, was Synchronisationsimpulse per RF vom Trackingsystem erhält, um die einzelnen Marker abwechselnd zu aktivieren und zu deaktivieren • Die von den Trackern erfassten Daten werden zu einer Workstation mit entsprechender Software weitergeleitet

  27. Optische Systeme (aktiv)Beispiel: PTI Phoenix Visualeyez VZ3000

  28. Optische Systeme (aktiv)Spezifikationen: PTI Phoenix Visualeyez VZ3000 • All in One System (Hardware und Software explizit von PTI) • Extrem robuste Verarbeitung für den Einsatz in der Praxis (Crashtests) • Fullbody Motion Capturing • Realtime Motion Capturing • Unterstützt bis zu 24 Tracker • bis zu 512 Marker gleichzeitig einsetzbar (entspricht ca. 10 Personen) • Genauigkeit von +/- 0.8mm • Tracker Spezifikationen: - Verarbeitet bis zu 3300 3D-Koordinaten pro Sekunde - Erfassungsraum: 190m³ bei einem Radius von 7 m - Auflösung 0.015 mm bei 1.2 m Abstand • Preis: ab 100.000 € - nach oben offen

  29. Optische Systeme (aktiv)Beispiel: Ascension ReActor • Prinzip ist das gleiche wie bei VZ3000 von Phoenix • allerdings: Tracker (Kameras) sind in 12 Stangenintegriert, die zusammengesteckt, einen Würfel beschreiben • Hier wird Bewegung mit 520 Mikrokameras eingefangen • Die Sensor-Kamera-Taktung wird per Funkübertragung realisiert

  30. Optische Systeme (aktiv)Beispiel: Ascension ReActor

  31. Optische Systeme (aktiv)Spezifikationen: Ascension ReActor • All in One System (Hardware und Software ist von Ascension, Weiterverarbeitung mit fremder Software gut möglich) • integrierte Markerwiedererkennung (IMR), es gehen wenig Daten verloren • durch hohe Anzahl der Kameras, gute Markerwiedererkennung bei Verdeckung • bis zu 900 Messungen pro Sekunde • Kameraleistung: bis zu 60 fps • System kann im natürlichen Licht eingesetzt werden • Weiterverarbeitung und Visualisierung in Realtime möglich

  32. Optische Systeme (aktiv)Systeme und Hersteller • Visualeyez System VZ2000 / VZ3000 (PhoeniX Technologies Incorporated, PTI) • CODA mpx30 (Charnwood Dynamics) • ReActor (Ascension)

  33. Vergleich der Systeme (1/3)

  34. Vergleich der Systeme (2/3)

  35. Vergleich der Systeme (3/3)

  36. Facial Capturing • Facial Capturing kann von mechanischen und passiv-optischen Systemen realisiert werden, d.h. Erfassung verläuft nach dem gleichen Prinzip • sehr kleine Marker werden auf markante Gesichtspartien, die eine Mimik besonders stark prägen, angebracht • hochauflösende Kameras sind nötig, um kleinste Veränderungen realitätsgetreu aufzunehmen

  37. Facial Capturing

  38. Kaydara Filmbox • State-of-the-Art-Software zur Weiterbearbeitung und Mixen von Daten aus Motion Capture mit Animation • konzentriert sich hauptsächlich auf Animation • arbeitet mit inverser und geradeaus Kinematik

  39. Fazit • herkömmliche, mechanische MoCap-Systeme bieten heute fast nur Nachteile und sind zudem nur noch marginal günstiger als elektromagnetische Systeme. Es bleibt abzuwarten, wie sich „Shape Tape“, die interessante Innovation von Measurand am Markt behaupten kann und wie sie sich weiterentwickelt. • optisches MoCap ist zwar State of the Art, jedoch im Moment so extrem teuer, dass es nicht rentabel ist. Zur Zeit wird es nur im Hochpreissegment (Film, Games, Musicvideos) eingesetzt. Es wird sich aber in der Zukunft gegenüber den anderen Verfahren durchsetzen. • elektromagnetisches MoCap bietet von der Leistung her einen guten Durchschnitt zu den anderen Systemen und bietet somit ein vernünftiges Preis/Leistungsverhältnis. Damit ist es für mittlere Unternehmen durchaus rentabel. Eine große Useranzahl und konsequente, jahrelange Entwicklung machen es heute zur ersten Wahl für die meisten Produktionen.

  40. Hersteller: http://www.vicon.comhttp://www.ptiphoenix.comhttp://www.ascension-tech.comhttp://www.metamotion.comhttp://www.motionanalysis.comhttp://www.analogus.comhttp://www.charndyn.comhttp://www.measurand.comhttp://www.peakperform.comhttp://www.ptiphoenix.comhttp://www.polhemus.comhttp://www.puppetworks.comhttp://www.spicatek.comhttp://www.tyrellinnovations.comhttp://www.x-ist.deHersteller: http://www.vicon.comhttp://www.ptiphoenix.comhttp://www.ascension-tech.comhttp://www.metamotion.comhttp://www.motionanalysis.comhttp://www.analogus.comhttp://www.charndyn.comhttp://www.measurand.comhttp://www.peakperform.comhttp://www.ptiphoenix.comhttp://www.polhemus.comhttp://www.puppetworks.comhttp://www.spicatek.comhttp://www.tyrellinnovations.comhttp://www.x-ist.de andere Quellen:http://medien.informatik.uni-ulm.de/lehre/current/ModellingAndRendering/07-motion-capturing.pdfhttp://www.css.tayloru.edu/instrmat/graphics/hypgraph/animation/motion_capture/history1.htmhttp://www.cis.ohio-state.edu/~parent/animation/index1.htmlhttp://media-in-transition.mit.edu/articles/furniss.html Dank geht an: Clemens KinderElisbeth Fitzenberger (Althen/Measurand)Roman Goltz (PhoeniX)Andreas Treptow (Ascension)Andreas Schoebel (VRlogic/Polhemus)Andrew Brammall (Motion Analysis) Quellenangaben

More Related