Progettare il suono Musica, effetti sonori e voce

1. Progettare il suonoMusica, effetti sonori e voce

2. Funzioni del suono • Il suono crea il mood e l’atmosfera • Trasporta l’utente nel mondo della storia • Accentua il senso di immersività • Aggiunge una nuova dimensione emotiva all’esperienza interattiva • suggestiona, emoziona, rafforza la comunicazione

3. Paesaggi sonori • Soundscape termine introdotto da Murray Schafer • Indica un suono o una combinazione di suoni che costituiscono un ambiente immersivo • Comprende suoni ambientali naturali • vento, pioggia, animali, alberi, acqua… • o suoni prodotti dall’uomo • vocali, prodotti dal lavoro, musica

4. Elementi del paesaggio sonoro • Toniche (keynote) • Tonica la nota che caratterizza un suono. Suoni creati dalla geografia del luogo: vento, acqua, alberi, animali, traffico. • Possono non essere udite a livello cosciente ma forgiano il carattere di che vive il luogo • Portiamo dentro di noi i suoni dei luoghi

5. Elementi del paesaggio sonoro • Segnali • i suoni di primo piano, che vengono percepiti a livello cosciente: sirene, allarmi, campane, un grido, il verso di un animale • Impronte sonore • il suono unico e caratteristico di un ambiente

6. Valenze culturali dei suoni • Ai suoni corrispondono stati emotivi che possono variare nel tempo, con il variare delle forme sonore e della vita che scandiscono • La valorizzazione simbolica di un suono è connotata dalla cultura che lo genera

7. Antiche musiche iconografiche • Didgeridoo australiano • La guerre di Clément Janequin 1485 - 1558 • Mercante bresciano et Hebrei da La barca di Venezia per Padova di Adriano Banchieri 1568 -1634 • Il combattimento di Tancredi e Clorinda dall’VIII libro dei madrigali - 1638 di Claudio Monteverdi 1567 – 1643, testo da Gerusalemme liberata di Torquato Tasso

8. Sinestesia • Fenomeno dell’insorgenza di una sensazione in concomitanza con una percezione di diversa natura • Audizione colorata, una sensazione termica o di dolore in reazione a stimoli di diversa natura • Nella comunicazione monomediale (solo audio o video ...) tutti i sensi partecipano all’esperienza: • Se vedete un’immagine di deserto al sole provate caldo anche se siete in aria condizionata • I non udenti integrano la visione dei movimenti delle labbra con l’immaginazione sonora

9. Sinestesia • I multimedia consentono rappresentazioni multisensoriali • Si prestano a fenomeni di interazione sensoriale e sinestesica • Uno stimolo visivo accompagnato da uno stimolo sonoro appare più lungo • Nelle realtà virtuali si può provare una sindrome con nausea

11. Sinestesia • Come fenomeno involontario è soggettivo: ad ogni stimolo vengono attivate interazioni e integrazioni di sensi, in funzione del proprio vissuto e della propria fisiologia. • Si manifesta in circa 1% della popolazione e ha basi genetiche • Le percezioni proveniente da due o più sensi si confondono • Mozart percepiva colori associati alle note

12. Rappresentazioni sinestesiche • Traduzioni estetiche • Dal suono al colore o alla forma • Kandinsky, Klee • Dal suono al movimento/animazione • Danza o nel cinema (cfr. Fantasia) • Nel linguaggio è un tipo di metafora • Il suono giallo, il colore squillante, la voce calda • Il divino del pian silenzio verde (Carducci, Il bove)

13. Rappresentazioni sinestesiche • Rare sono le traduzioni estetiche dal colore. È il suono che con maggior frequenza sollecita la formazione di traduzioni estetiche. • Si studiano • La forma dei suoni • Forme tondeggianti a fonemi molli (m) e spigolose a fonemi duri (t) • Il colore del suono delle vocali • a, e, i, o, u

14. Sinestesia • È stata studiata da artisti diversi e in neuroscienza • Kandisky si augurava che i suoi quadri venissero ascoltati • Il suono giallo • Skrjabin studia la sintesi tra suono e colore • Il Prometeo: uso di tastiera muta per produrre fasci di luce colorata • Per entrambi la sinestesia è la chiave per capire la cultura al di là delle singole arti: la fusione di tutte le arti.

15. Skrjabin nel Prometeo

16. Tastiera muta

17. Kandinsky e i colori • Il giallo colore terreno, acceca, irraggia, abbaglia  furore, frenesiatromba • Il blu colore del cielo richiama all’infinito, al trascendente  nostalgia  dal flauto al violoncello all’organo • Il verde equilibrio tra giallo e blu  calma, quiete violino • Il rosso genera energia  inquietezza, emozioni tuba, tamburo

18. Kandinsky e i colori • L’arancione somma di rosso e giallo  sentimento di sicurezza campana, viola • Il viola somma di rosso e blu. Un uomo che si richiude in se stesso corno inglese, zampogna • Il bianco: un mondo senza colori e di silenzio. Corrisponde alle pause nella musica • Il nero simbolo di perdita della vita. Corrisponde alla pausa conclusiva di un pezzo musicale. È il colore meno dotato di suono.

19. Kandinsky e i colori • 4 coppie di colori contrastanti

28. Esempi da YouTube • The Art of Wassily Kandinsky by Thru The Ozone • Wassily Kandinsky (1866-1944) • Kandinsky Animation • Composing Kandinsky • Fantasia Disney - Schiaccianoci • la danza cinese e la danza dei flauti • la danza russa

29. Altre animazioni sperimentali • Oskar Fischinger • La danza russa dallo Schiaccianoci di Čhajkovskij 1931 • Murattiprivat1935 • Fantasia 1940 da Toccata e fuga in Re minore di Bach • Motionpaintingdal Concerto Brandeburghese n. 3 di Bach • Osvaldo Cavandoli • La linea 1e La linea 2del 1957

30. Qualche consiglio • Non sovraccaricare un registro sensoriale • Es: solo stimolo visivo • Non dare stimoli contrastanti in sensi diversi • Es: suono ed icona associati • Progettare unitariamente un registro sensoriale ma controllare l’associazione sinestesica e simbolica • Considerare gli aspetti culturali. Ogni cultura offre una gerarchia sensoriale.

31. Qualche consiglio • Fare molta attenzione alla progettazione dei suoni • Il suono di un motore d’auto è progettato! • Un’animazione senza suono è incompleta • Non è altrettanto vero per l’audio senza video (es. radio)

32. Tipi di suoni • In una applicazione MM interattiva possono essere necessari suoni di tipo diverso • Suoni di sottofondo d’accompagnamento • Effetti sonori per sottolineare le interazioni con l’interfaccia • Effetti sonori d’ambiente dell’applicazione • Voci dei personaggi • Musiche

33. Il sound designer • Riceve dal progettista indicazioni in merito a: • Quanta musica, effetti sonori, voci dei personaggi sono richiesti • Numero e lunghezza delle tracce • Stile della composizione e atmosfera della narrazione (ricordare la figurativizzazione) • Collocazione delle tracce musicali all’interno della composizione • Quanto peso è riservato all’audio • Sample (anche tratti da cinema, TV, pubblicità) per facilitare e sveltire la composizione

34. Il sound designer • Può procedere in diversi modi: • Creare da sé la musica • Acquistare i diritti da qualcun altro • Piratare i diritti (ILLEGALE!!!)

35. Formati … più comuni • MIDI - Musical Instrument Digital Interface http://www.midi.org • Codifica in formato binario comandi come • note ON • note OFF • velocità • Il formato è molto leggero (algoritmo di tipo lossy), sino a 350 volte inferiore rispetto ad un analogo MP3 • La qualità è di conseguenza molto inferiore

36. Formati • WAV - Waveform Audio Format • Molto adatto agli effetti sonori, troppo complessi per i MIDI • Molto pesante (compressione lossless), ha perso popolarità con l’aumentare dello scambio p2p di file audio su Internet

37. Formati • MP3 - Motion Picture Expert Group-1/2 Audio Layer 3 • Algoritmo di compressione audio di tipo lossy in grado di ridurre drasticamente la quantità di dati richiesti per memorizzare un suono, rimanendo comunque una riproduzione accettabilmente fedele del file originale non compresso. • http://www.iis.fraunhofer.de/EN/bf/amm/products/mp3/index.jsp

38. Formati • MP3D • Adatto per ascolto in cuffia http://www.iis.fraunhofer.de/EN/bf/amm/products/mp3d.jsp • MP3 Surround • l’ estensione surround per il popolare formato mp3 http://www.iis.fraunhofer.de/EN/bf/amm/products/mp3surround/mp3surround.jsp

39. Esempi di applicazioni • http://www.out-of-sync.com/ • Cliccare su Internet Works • Tipografia cinetica • Minimalism Kinetic Typographic Poem • X vs O • Mad as Hell! by Aaron Leming • Kinetic Typography Soundbooth