La prosodia audiovisiva: la teoria

1. La prosodia audiovisiva: la teoria Diane Brentari Purdue University 10 aprile, 2008

2. Oggi, ci poniamo queste domande: • Quali sono i tratti visivi usati per realizzare la prosodia? • Qual è il rapporto temporale fra i tratti prosodici visivi e quelli orali? • Come si sviluppano i tratti visivi? • Qual è il rapporto fra i tratti prosodici visivi nelle lingue orali e nelle lingue dei segni? • Quali sono le applicazioni di questa ricerca nel campo della realtà virtuale?

3. Le dimensioni dei gesti: • icona • metaforica • deittica • battuta (“beat”): la dimensione più importante per la prosodia

4. la dimensione battuta (“beat”) • l’uso del corpo o della mano come una bacchetta che segue il ritmo del discorso.

5. le dimensioni significativi • iconica: la forma del gesto rappresenta tratti visivi e significanti. • metaforica: la forma del gesto rappresenta un’immagine astratta • deittica: la forma o il movimento del gesto è usata per la localizzazione degli oggetti nello spazio

6. “lexical affiliate” vs. “parola co-segmentale” • “lexical affiliate”: la parola o le parole che sono più vicine al gesto in significato. • “parola co-segmentale”: la parola prodotta simultaneamente con il gesto. Il mio punto qui è che non è obbligatorio che questi 2 concetti corrispondano alle stesse parole.

7. i gesti non sono soltanto delle mani • le guance • le sopracciglia • gli occhi • la testa intera • le spalle • il busto

8. i gesti servono • ai parlanti • per ricordare e per esprimere le parole, • per sostenere la catena di discorso, e • agli ascoltanti • per decidere dov’è la cesura fra le frasi; • per decidere la prominenza della frase

9. Kramer & Swerts (di prossima pubblicazione) Tratti visivi e prominenza: • C’è un effetto dei tratti visivi sulla prominenza delle parole? Ipotesi: • Un gesto + un accento ha un effetto sulla prominenza, cioè la prominenzaaumenta su quella parola e diminuisce sulle altre parole

10. 3 esperimenti sulle battute • “fare” le battute: Che cosa fanno i partecipanti con la voce quando usano anche i gesti? • “ascoltare” le battute: Quando i partecipanti ascoltano a loro frasi, sono in grado di percepire che cosa fanno con la voce quando usano anche i gesti? • “vedere” le battute: Quando i partecipanti guardano e ascoltano le loro frasi, che giudizio danno sulla prominenza?

11. tutti gli esperimenti • Amanda va a Malta (in olandese) • “Amanda gaat naar Malta.” • L’accento può essere su “Amanda” o su “Malta” o può anche non esserci. • I partecipanti: 10 (E1-E2), 20 (E3).

12. Esperimento 1: ‘fare’ battute • 18 condizioni; 2 x 3 x 3 • Parola (2 valori): • ‘Amanda’ (W1) o ‘Malta’ (W2) • Battuta (3 valori): • le sopracciglia, la testa, le mani • Effetto acustico (3 valori): • accento W1, accento W2, Ø

13. Risultati (E1): effetti acustici • gli effetti acustici sono ‘normali’ • frequenza: accento su W1 o W2 è correlato a un F0, F1 più alta; meno effetto su F2, poco effetto su F3. • durata: l’accento su W1 è correlato a una vocale più lunga; • energia: l’accento su W1 o W2 è correlato a più energia (più forte) sulla vocale.

14. Risultati (E1): gli effetti della battuta sul segnale • effetto della battuta • accento + battuta su W1 o W2 è correlato a un F2 più basso. • accento + battuta su W2 è correlato a una vocale più lunga. Quindi, ci sono effetti del gesto sull’ accento, ma sono percepibili?

15. Esperimento 2: ‘ascoltare’ battute • 10 persone hanno dato giudizi sull’accento delle vocali: • 0 (nessun accento) • 1 (accento minore) • 2 (accento chiaro) • Misura di “prominence difference”: • ∑ W1 prominenza - ∑ W2 prominenza

16. Risultato (E2) • C’è un effetto della battuta sulla prominenza percepita. Cioè una parola + battuta è correlata a una prominenza aumentata. Invece, la prominenza relativa all’altra parola sembra essere diminuita. Tutti i tre tipi di battuta avevano questo effetto (le sopracciglia, cenno del capo, battute manuali). Quindi, gli effetti del primo esperimento sono percepibili quando i partecipanti ascoltano, ma vorremmo sapere se c'è un effetto dei gesti sulla percezione.

17. Esperimento 3: ‘vedere’ battute • Qual’è la differenza fra la condizione audio e la condizione audiovisiva? C’è una differenza fra che cosa si percepisce quando si ascolta soltanto e che cosa si percepisce quando si ascoltano e si vedono le frasi contemporaneamente?

18. Analisi dei tratti • accento: W1, W2, Ø • tipo di battuta: le sopracciglia, le battute manuali; • cenno del capo è stato tolto) • Dov’è la battuta: W1, W2 • Parlante: (primo, secondo, terzo) • soltanto 3 delle 10 sono stati usati

19. Risultati (E3) • + accento: Quando si vede una battuta manuale sulla prima parola, la prominenza di questa è aumentata, mentre è diminuita sulla seconda parola. Vice versa quando la battuta è sulla seconda parola. • - accento: Quando una battuta è sulla parola senza accento la prominenza della parola + accento è diminuita. • L’effetto è lo stesso (ma meno forte) quando la battuta è realizzata dalle sopracciglia.

20. Effetto della battuta sulla prominenza percepita prima parola seconda parola

21. La conclusione • Le battute hanno un effetto forte sulla percezione di prominenza, quindi l’ipotesi è stata confermata.

22. Brentari, González & Seidl (di prossima pubblicazione) • Senza nessuna esperienza di segnato, gli udenti hanno intuizioni su come usare i tratti prosodici di una lingua dei segni per decidere dove sono i confini fra le frasi segnate? La risposta prevista è: ‘si’ • Quali sono le differenze fra segnanti e nonsegnanti nella percezione di questi tratti prosodici? È vero che i segnanti e i nonsegnanti usano i tratti prosodici in modi diversi? La risposta prevista è: ‘si’

23. Tratti prosodici nella Lingua dei Segni Americana (ASL) • Movimenti delle sopracciglia (Wilbur 1994, Liddell 1980) [non ne parliamo qui] • Il prolungamento del segno intero, sopratutto tratti di movimento (Wilbur 1999, Tang, et al. in press) • Il prolungamento dell’ultimo segmento (Perlmutter 1992, Brentari 1998) • Quando le mani si abbassano (Nicodemus, 2006) • Il battito delle ciglia (Wilbur 1994, Liddell 1980) • Le pause (Brentari & Poizner, 1994)

24. La struttura dell’esperimento • Questo esperimento è focalizzato sul confine delle frasi intonazionali (“I-Phrase”). • Gli stimoli sono stati costruiti come piccoli discorsi. Hanno esattamente • gli stessi segni, • le stesse sillabe, ma • confini diversi delle frasi intonazionali.

25. la procedura • Fase“Familiarizzazione” (passaggi lunghi) • Fase “Test”(passaggi brevi) • Modulo di risposta su carta. Due domande: • Fra i 2 segni, c’è una cesura? (si/no), • Quanto è sicuro della Sua risposta? • (10:molto - 0:niente affatto). • Nessun limite di tempo.

26. il metodo • i partecipanti: • 8 segnanti (20+anni d’esperienza); • 8 non-segnanti udenti • Stimoli: • 10 passaggi lunghi • fase ‘familiarizzazione’ • 2 paia di segni a ciascun passaggio breve (20) • fase ‘test’ • 20 paia x 2 segnanti diversi = 40 paia • 3 volte ogni passaggio breve (60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase intera)

27. esempio di un paio dei passaggi lunghi (sono segnati tutti come se fossero segnati a un bambino) • ANIMALE TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT. • Gli animali hanno le caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.] • YESTERDAY MORNING MY GARAGE SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. ‘ • Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!

28. passaggio lungo “A”:ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT.[Gli animali hanno caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]

29. passaggio lungo “B”:YESTERDAY MORNING MY GARAGE I SAW SNAKEBIG. STILL MOVE FAST CAN ALWAYS. CHASE.[Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!]

30. I tratti previsti e quelli presenti: previsti previsti previsti nella frase fra le frasi forte prol.segno ø ø ø forte forte prol.seg. mani abb. ø ø si si battito ciglia pause ø ø si si ø si si

31. I tratti previsti e quelli presenti: Passaggio A Passaggio A Passaggio A BIG STILL BIG STILL BIG STILL CAN. ALWAYS previsti previsti previsti nella frase nella frase nella frase fra le frasi fra le frasi si si forte forte prol.segno ø ø ø forte forte si si forte prol.seg. mani abb. ø ø ø si si ø ø battito ciglia pause ø ø si si ø ø ø si si ø si si ø ø ø si

32. I tratti previsti e quelli presenti: Passaggio A BIG STILL CAN. ALWAYS previsti previsti previsti Passaggio B Passaggio B BIG.STILL BIG.STILL CAN ALWAYS CAN ALWAYS nella frase fra le frasi nella frase fra le frasi nella frase fra le frasi si forte forte forte prol.segno ø ø ø ø forte forte si si forte prol.seg. forte mani abb. mani abb. ø ø ø ø si si ø ø battito ciglia pause battito ciglia pause ø ø si si ø ø ø si ø si si ø si ø si

33. questo è stato tagliato questo del passaggio “A”:SNAKE BIG STILL MOVE FAST CAN. ALWAYS[I serpenti grandi si possono comunque muovere velocemente. Sempre]

34. questo è stato tagliato del passaggio “B”: SNAKE BIG. STILL MOVE FAST CAN ALWAYS[Un serpentegrande. Si può comunque muovere velocemente.]

35. Modulo di risposta (un pagina) BIG STILL CAN ALWAYS Between the two signs shown is there a sentence break? yes ___no ___ [Fra i 2 segni, c’è una cesura? (si/no)] How confident are you in your answer? 10 9 8 7 6 5 4 3 2 1 0 [Quanto sicuro è della Sua risposta?] very not at all [molto] [niente affato]

36. i risultati sono stati analizzati secondo queste categorie

37. La accuratezza • La prova statistica d’ dimostra che non c’era un effetto del gruppo sulla accuratezza. I segnanti sono stati più accurati nella categoria di “corretti +”: 86% segnanti; 76% nonsegnanti I nonsegnanti sono stati più accurati nella categoria di “corretti -”: 76.5% segnanti; 85% nonsegnanti • I segnanti mostrano meno variabilità.

38. Analisi degli stimoli costituiti da pezzi delle 2 frasi (Logical Regression) Segnanti Non-segnanti

39. Analisi degli stimoli costituiti da 1 frase intera (Logical Regression) Segnanti Non-segnanti

40. Conclusioni • Segnanti e nonsegnanti possono entrambi identificare quando c’è uno spazio fra 2 frasi. • Quindi la prima ipotesi è stata confermata. • I segnanti mostrano meno variazione • I segnanti focalizzano su un tratto solo, mentre nonsegnanti focalizzano su due tratti (almeno). • I segnanti e i nonsegnanti sono sensibili a tratti simili: • La pausa è il tratto più importante quando c’è una cesura nell stimolo. • Il prolungamento segmentale è il tratto più importante negli stimoli costituiti da una frase intera (senza una cesura). • Quindi anche la seconda ipotesi è stata confermata.

41. Alcune domande sulla prosodia (sono solo esempi) • Quando un gesto e l'accento sono simultanei, quante volte il gesto è soltanto una battuta, e quante volte c'è un altra dimensione di significato. • Quando c'è un altra dimensione di significato, quale è la dimensione? • Qual'è il rapporto fra i gesti emblematici e la prominenza? Gesti emblematici hanno uno significato di per sé; e.g., ‘non me ne frega nulla di q.c’, ‘cosa/perché’, ‘perfetto’). Di solito succedono senza parole, ma qual’è il rapporto fra il gesto e le parole prima o dopo il gesto?

42. la distribuzione delle dimensioni dei gesti (McNeill 1992)

43. Vi invito a scegliere 1 minuto dei 2 video diversi, fare una paragone di qualche tipo, e preparare una piccola presentazione per la prossima volta. • IT narrativo <-> ING narrativo • IT extra-narrativo <-> ING extra-narrativo • IT narrativo <-> IT extra-narrativo • ING narrativo <-> ING extra-narrativo --presentazione di10 minuti