Produrre programmi con studi Virtuali

1. Produrre programmi con studi Virtuali Sebastian Sylwan sebastian@videoprogetti.it

2. Che cosa è un Virtual Studio ? • Fondamentalmente un “accozzaglia” di apparecchiature ad altissimo livello tecnologico. • Scenografie virtuali con attori reali. • Nessuno deve accorgersi della finzione

3. A che cosa serve ? • Ambiente di produzione completamente digitale • Ottimizzare gli spazi e le risorse • Risparmiare sui costi • Riutilizzare le risorse

4. Ambiente di produzione digitale • Tutti gli elementi sono disponibili in formato digitale • La scenografia sta in un database • Diversi set-up dello studio possono essere progettati e richiamati • Le risorse di calcolo ad alte prestazioni possono essere centralizzate e condivise • Il design può essere fatto su computer a basso costo • Gli elementi possono essere archiviati e riutilizzati • Avere elementi digitali facilita la post-produzione e il riutilizzo

5. Ottimizzare spazi e risorse • Nello stesso studio giro innumerevoli programmi • Devo comprare meno camere, regie, monitor, etc. • Tempo per cambiare le scenografie irrilevante • Costruzione di scenografie 3D • molto più semplice ed economico rispetto a quelle reali • molto più veloce • facilità di correggere ed adattere alle esigenze • riusabilità

6. Che cosa implica ? • Nuove professionalità • Forte integrazione tra mondo video e informatico

7. Convergenza… • Diversi campi tecnologici • Rendering fotorealistico in tempo reale • Sensori elettromeccanici • Ottica • Trattamento del segnale video digitale

8. Nuove Professionalità • Scenografi “Virtuali” • Modellatori 3D • Attori • Assistente alla regia • Direttore tecnico • Sceneggiatori • Registi • Autori • Cameraman • Tecnici di illuminazione

9. Miglioriamo i modelli di produzione • Espandiamo lo spazio di studio esistente • Ambiente di produzione completamente digitale • Strumenti per il desing vs strumenti per la produzione • Sessione tipica in un Virtual Studio

10. Espandere lo spazio di studio esistente • incrementare il rendimento • più programmi in un unico studio • cambiamenti veloci • maggiore produttività • le scene sono indipendenti dallo spazio di studio • le informazioni possono essere associate al programma/ripresa • i dati di design e di produzione passano alla post-produzione

11. Tools for design vs. production • Design: guidato dal costo modellazione illuminazione animazione • Produzione: guidata dalle prestazioni Composizione di scene pre-produzione display real-time dinamico

12. Typical Design Tools Texture painting 3D modeling & animation

13. Production Tools Scene composition Pre-production

14. Production Tools Production

15. Come è fatto uno studio virtuale ? • 3D modeling - Studio Design • Rendering Real-Time • Camera Tracking • Blue Back / Chroma Keying • Matte Keying • Switching • Optical tracking / measuring

16. Come è fatto uno studio virtuale ?

17. Una tipica sessione in studio virtuale • Scegliere la scena • Scegliere lo studio • Caricare le impostazioni dello studio • Caricare la registrazione della scena • Tarare le camere • Registrare • Post-produrre

18. Integrazione • Mettere insieme apparecchiature di “mondi” diversi • Sincronizzare alla perfezione in tempi strettissimi • Mission-critical RT

19. Vediamo nel dettaglio… • Modellazione 3D • Blue Back / Keying • Calibrazione • Registrazione

20. Modellazione 3D • Interna o esterna al pacchetto software... • …ma pensata esplicitamente per uno Studio Virtuale • Ottimizzazione per il rendering Real-time • Vapour deve generare 50/60 immagini / secondo • Devo necessariamente ottimizzare

21. Dal progetto al modello

22. Ottimizzazione degli studi 3D • Usare colori invece di materiali ove possibile • Limitare il numero delle luci / usare texture per ottenere effetti di luce • “Spegnere” i lati posteriori degli oggetti se non sono visibili • Ridurre il numero di vertici nelle geometrie • Minimizzare l’uso di oggetti importati (t-mesh) e delle trasparenze • Nascondere/rimpiazzare gli oggetti “video” e i “dummy” quando non vengono usati • Creare texture con degli oggetti di testo fissi • Diminuire la risoluzione del testo con corpo piccolo • ”Spegnere” i lati posteriori del testo 3D • Disabilitare lo z-buffer / riorganizzare gli elementi secondo l’ordine di rendering • Pixel fill rate: 10 cubi vengono resi prima di un unico cubo che riempie lo schermo • Far ereditare le proprietà agli oggetti quando possibile

23. Ottimizzazione del modello

24. Illuminazione • È importantissimo mantenere una coerenza nell’illuminazione per evitare artifatti percepiti come “falsità” della scena. • Prestare attenzione alle dominanti cromatiche dello studio virtuale e ricrearle (color-correction) nei talent enegli elementi reali (blue-spill) • Le sorgenti di luce devono provenire dalle stesse direzioni sia nel modello virtuale che nello studio reale, per ottenere una coerenza nelle ombre e nell’illuminazione

25. Typical Design Tools Simulazione dell’illuminazione

26. Calibrazione dello Studio Virtuale

27. Blue Back

28. Blue Back: fattori critici • Perché blu ? • Illuminazione uniforme • Distanza dalle pareti • Ombre • Coerenza cromatica • Indumenti • Riflessi

29. Limbo e illuminazione

30. Angoli del Limbo

31. Chroma Keying • Le componenti del Blu vengono eliminate e al loro posto vengiono inserite le immagini generate dalla WS. • A questo “mascheramento” sul colore si aggiunge una maschera proveniente dalla WS stessa che decide se un oggetto sta davanti o dietro il “talent” e lo maschera di conseguenza (talent-tracking)

32. “Mappare” il virtuale sul reale • Devo creare un modello virtuale del mio blue-back reale e posizionarlo (posizione, scala, orientamento) nel mio studio virtuale • Devo posizionare molto precisamente le telecamere reali all’interno del set virtuale

33. Movimento e posizione delle camere • La visione prospettica della scena virtuale cambia con i movimenti delle camere, quindi questi devono essere acquisiti con la massima precisione possibile • I dati di movimento, posizione, zoom, pan e tilt delle camere devono arrivare a tutte le WS che fanno il rendering nel minor tempo possibile per non introdurre delay • Devono essere sincronizzati • Vediamo i diversi tipi con Pro e Contro

34. Camera tracking: meccanico • Altissima precisione • Bassi delay • Calibrazione più critica • Camera rig • Crane • Dolly • Necessità di taratura ottica precisa

35. Camera tracking: Pattern recognition • Libertà di movimento (relativa) • Basso costo • Shoulder camera • Poco preciso / Velocità limitata • Scatti • Alti delay

36. Camera tracking: Elements search • Device ausiliari (tipicamente a IR) • Shoulder camera (totale libertà di movimento) • Poco preciso • Bassissimi delay (< 1 frame !)

37. Mettiamo insieme le cose

38. Rendering in tempo reale • Dipendente dalla posizione e dai movimenti delle camere reali • Virtual Cameras solo per immagini di sintesi

39. Unire le immagini

40. Unire le immagini • Devo ora integrare le immagini di sintesi con quelle naturali • Le immagini naturali sono girate su sfondo blu

41. Interfaccia

42. Risultato

43. Schema Generale

44. Un idea delle dimensioni

45. Produzione vs. Post-produzione • I dati provenienti dalle telecamere possono essere utilizzati “on the fly” oppure registrati per utilizzarli in post-produzione

46. External Control - Producer • Tutta l’interazione con lo studio virtuale compreso lo switching tra le telecamere (Program e Preview) viene fatto attraverso un PC • Questo permette di integrare grafici e dati dal mondo esterno con estrema facilità • Ho anche un notevole controllo e possibilità di automazione (scripting)

47. External Control

48. On air graphics

49. On air graphics

50. Caratteristiche Principali • resolution-independent rendering up to HDTV 1920x1080p as shown on NAB • full external control, producer 1.5x is really nice as it's able to read in, display and use frost's scene tree • texture load in background w/o affecting fg performance • two separate renderers with switch/crossfade/fade to black