Aktuelle Entwicklungen in der Echtzeit Computergrafik

1. AktuelleEntwicklungen in derEchtzeitComputergrafik Ralf Habel Institute of Computer Graphics and Algorithms Vienna University of Technology

2. Ich Post-Doc am Institutfür Computergrafik und Algorithmen, TU Wien Dissertation in EchtzeitVegetationsdarstellung und Animation AktuelleForschung: Precomputed Lighting, Computational Photography Vorher: PhysikstudiumUni Stuttgart Ralf Habel

3. Überblick Was istEchtzeitgrafik? Evolution derEchtzeitgrafik Vorgehen in derEchtzeitgrafik Computerspieleindustrie WeitereEntwicklungen in derEchtzeitgrafik Ralf Habel

4. Was istEchtzeitgrafik? • ImtraditionellenSinne:BildsynthesemitinteraktivenBildratenzurdirekten Manipulation und Interaktion. • Einsatzgebiete: • Computerspiele • Virtual/Augmented Reality • Architekturvisualisierung • Datenvisualisierung • MedizinischeVisualisierung Ralf Habel

5. Was istEchtzeitgrafik? • ImheutigenSinne: • Echtzeit- • Bildsynthese • Animation(Charaktere,Gesichter, Verhalten) • Simulation (Rigid Bodys, Fluiddynamik) Ralf Habel

6. Was istEchtzeitgrafik? • Stark interdisziplinäres Feld: • Physik (Optik, klassischeMechanik, Fluiddynamik, Radiometrie… ) • Biologie(Gesichter, Bewegungsapparat) • Psychologie (Wahrnehmung) • Neurowissenschaft (MultimodaleEffekte) • SämtlicheangewandteMathematikwirdeingesetzt • Vektor/Matrixalgebra, Analysis, Funktional-analysis, Geometrie … Ralf Habel

7. GrundlagenderEchtzeitgrafik • Einsatz von paralleler spezialisierter Hardware (Graphics Processing Unit: GPU) ermöglicht sehr schnelle Datenverarbeitung • mehrere hundert Cores (Prozessoren) parallel • Sehr schneller RAM Zugriff durch dedizierten Speicher (GPU RAM) • Hardwareunterstützung von speziellen mathematischen Methoden (Transformationen, Lichtberechnungen, Filterung) Ralf Habel

8. MooreschesGesetzfür CPUs • Gordon Moore, 1965 • ExponentiellesWachstumderTransistoranzahl • Verdopplungalle 18 Monate  JährlichesWachstum von: 1.6 • Stagniertim Moment, Verschnellerungdurchmehrere Cores (Parallelisierung). (Logaritmische Achse) Vienna University of Technology

9. MooreschesGesetzfür GPUs • Fast MooreschesGesetzquadriert • Performanzverdoppeltsichalle 9-12 Monate • Grund: Hardware Parallelisierung is einfach, Echtzeitgrafikisteinhochparalleles Problem Vienna University of Technology

10. Evolution derEchtzeitgrafik AMD Radeon HD 6970 November 2010 2.7 TeraFLOPS 2 Gigabyte RAM (1 Terabyte Storage) 0.03 Quadratmeter ASCI Red Schnellster Supercomputer 1999 3.1 TeraFLOPS 1616 Gigabyte RAM 12.6 Terabyte Storage 212 Quadratmeter • Schnellster Supercomputer 2011 Tianhe-1 : • 4.7 PetaFLOPS • 14336 CPUs and 7168 GPUs. Vienna University of Technology

11. Erste Generation – Wireframe • Vor 1987 • Transformation und Projektion von Modellen • Farbinterpolation Vienna University of Technology

12. Zweite Generation – Schattierung • 1987-1992 • VollstaendigeDreiecke, Tiefeninterpolation • EinfacheLichtberechnungen Vienna University of Technology

13. Dritte Generation – Texture Mapping • 1992-2000 • Texturen, Texturkoordinaten • Texturfilterung • Mehrfachtexturierung Vienna University of Technology

14. Vierte Generation – Programmierfähigkeit • Programmierfähigkeit • Von Modelltranform-ationen (Animation, Simulation) • Lichtberechnungen(Schatten, Oberflächen, globaleBeleuchtung) • ErmöglichteineVielzahlan Methoden und Effektenund derenKombination • Nahezuphotorealistisch Vienna University of Technology

15. Beispiele • Quake (1996) • 10-20 Echtzeitmethoden • Crysis 2 (2011) • Hunderte an Methoden • Ca. 1000 fachkomplexereGeometrieund Texturen Video Vienna University of Technology

16. Vorgehen in derEchtzeitgrafik • Echtzeitgrafik nutzteingeschränkte und leicht täuschbare menschliche Perzeption • Simplifizierende Tricks zur Darstellung von zu komplexen Objekten und Effekten. • Beispiel: Bäume • Hochkomplexe Geometrie • tausende an Ästen, zehntausende Blätter • Hochkomplexe Bewegung • hierarchische Bewegung der Äste, Einzelbewegung der Blätter • Vollständig korrekte Darstellung zu resourcenintensiv für heutige Computerspiele • Nur 10-30% der Gesamtresourcen können für Vegetation benutzt werden Vienna University of Technology

17. Bäume in derEchtzeitgrafik • Zu komplexe Geometrie wird auf wenige, grosse texturierte Flächen reduziert: • Vollständige Korrektheit nicht wahrnehmbar auf Entfernung • Fehler und Artefakte werden akzeptiert oder ignoriert ohne direkte korrekte Referenz Vienna University of Technology

18. Bäume in derEchtzeitgrafik Video Vienna University of Technology

19. Bäume in derEchtzeitgrafik • Akademischer Stand der Technik • NahezuvollstaendigeNutzungeinermodernen GPU • Schnellste/besteMethoden • Physikalisch basierter Ansatz erlaubt: • Vollständiges Baummodell • Schnelle Animation aller Äste und Blätter • Korrekte dynamische Beleuchtung und Schattierung (Transluzenz, Blattflächen) • Kein Bruch der Illusion auch bei Nahaufnahmen • Kommerzielle Einsatzfähigkeit in ca. 1-2 Jahren Vienna University of Technology

20. Bäume in derEchtzeitgrafik Video Vienna University of Technology

21. ComputerspieleIndustrie • Überholte Filmindustrie 2007-2008 • Globale Einnahmen ~60 Milliarden $ (Film ~50 G$) • MarktdynamikvergleichbarmitFilmindustrie: AAA Computerspiel 100-350 Millionen $ Rekord: 7 MillionenEinheiten von CoD:Modern Warfare 2 verkauft in 24 h (350 M $) Blockbuster Film 150-270 Millionen $ Rekord: Best Opening Weekend:The Dark Knight(158 M $) Vienna University of Technology

22. ComputerspieleIndustrie • EchtzeitBildsyntheseisteineFrageder Computer-resourcen und derenintelligenteAusnutzung • NichtvollständigDatenabhängig • Aber: Content (Charaktere, Levels, Animationen, Texturen…) muss von 3D Artists von Hand erstelltwerden • Content, nichtMethodikbestimmtvisuelleQualität • Prozedurale und automatisierteErstellung von Content wirdimmerwichtiger (auchalsakademischesFeld) • Programmierer : 3D Artist ~ 1:10 Vienna University of Technology

23. ComputerspieleIndustrie - Beispiel • Gesichtsanimation • Perzeptionreagiert auf kleinsteFehlerin der Animation • Fehlernichtnurstörend, sondernillusionszerstörenddurchdirektenemotionalenBezugzuGesicht (imGegensatzzuBäumen) • “Uncanny Valley” -Problem Vienna University of Technology

24. Beispiele • Mass Effect 2 (2010) • 3D Artist erstellteGesichtsanimation • L.A. Noire (2011) • Motion capturedGesichtsanimationvon Schauspielern Video Vienna University of Technology

25. WeitereEntwicklungenderEchtzeitgrafik • AuflösungsämtlicherRestriktionen in den Berechnungen • Bisher: RestriktiveSchnittstellen (OpenGL, DirectX) • In Zukunft: allgemeinerparallelerProzessor • Allesisterlaubt • Methodenausoffline Rendering (Film, Visual Effects) fliessen in die Echtzeitgrafikein • Ray Tracing, Higher Order Surfaces… • “billige” Tricks werdendurchakuratereMethodenersetzt • Film- und Spiel- Grafikkonvergieren Vienna University of Technology

26. WeitereEntwicklungenderEchtzeitgrafik • BeispielRay Tracing • Bisher in Film und Visual Effects • Monte Carlo Simulation von Strahlen • Erlaubtphysikalischakkurate Simulation von Oberflächen und Licht • Abersehrrechenaufwändig • Aktuelle CPUs und GPUs bereitsschnellgenugfürsehreinfacheSzenen • Abernichtschnellgenug um mitbisherigenMethodenzukonkurrieren • GPUs mitdirekter Ray Tracing Unterstützungbereits in Entwicklung Vienna University of Technology

27. Beispiele Video Vienna University of Technology

28. WeitereEntwicklungen • NurleichteAbflachung des Geschwindigkeits-zuwachses in derHardwareentwicklung • 2013: 15 TeraFLOP GPUs • Vereinigung von CPU+GPU auf einem Chip • AMD Fusion und intelSandybridge (i5/i7) bereits auf demMarkt • Computerspieleindustrieimmernochim 2 stelligenWachstumsbereich • EchteKinoqualität in Spielen in ca. 10 Jahren Vienna University of Technology

29. WeitereEntwicklungderEchtzeitgrafik • GPU wirdintegralerBestandteileiner CPU alsparallelerProzessoranteil (APUs) • Echtzeitgrafiknurspeziellesparalleles Problem • BeschleunigungsämtlicherBerechnungenim Consumer Bereich • Heutebereitsüber CUDA und OpenCL möglich • ImSupercomputer-Bereichbereitsetabliert Vienna University of Technology

30. Pixel 6 • 3 tägigeinternationaleComputergrafikkonferenzin Wien • ca. 400 Teilnehmer • Fachvorträgeüber • Filmproduktion • Visual Effects • Games • … • Von Pixar, ILM, Disney, Crytek, Lucasfilm… • Nur 45 Euro Eintritt! Vienna University of Technology

31. Vielen Dank! Fragen? Vienna University of Technology