LEZIONE A.8 Misurare la variabilità

1. TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli LEZIONE A.8 Misurare la variabilità

2. In questa lezione.. In questa lezione smettiamo di cercare misure ‘centrali’ di una variabile e passiamo a strumenti per misurare la dispersione in-torno a tali modalità. Poiché le variabili hanno gradi diversi di misurabilità individueremo una misura per ciascuno dei tre livelli: • Per variabili ordinali, intorno alla mediana abbiamo già fatto la conoscenza con il Range Interquartilico • Per variabili quantitative faremo la conoscenza della misura regina della Statistica, la Varianza • Per le variabili solo nominali cercheremo un concetto di variabilità assimilabile a quello di dispersione intorno a un polo, e proporremo la Eterogeneità. L’eterogeneità (a differenza della varianza) ha un massimo implicito nella sua definizione, e può quindi essere ‘relativizzato’. Ma questo è un tema che riprenderemo presto..

3. Range Il modo più naturale di cogliere la variabilità di un carattere è quello di vedere quanta è la differenza tra i ‘primi’ e ‘gli ultimi’, tra le unità di anali-si che stanno all’inizio e quelle che stanno alla fine della serie ordinata: X={x1,x2,x3,..,xN-2,xN-1,xN}. Range è la differenza tra ultima e prima modalità della serie ordinata: R= xN - x1 • Ma il Range risente trovo di valori ‘anomali’ sulle code della distri-buzione. Cosa succede al Range se, per esempio: • Di una classe scolastica di cui si studiano i redditi entra a far parte il nipote di Rockfeller? • Tra gli impiegati di Los Alamos su cui si valuta il Q.I. si inseriscono Fermi e von Neumann? • Nella serie delle vostre ‘pesate’ mattutine lasciate anche quella rile-vata quando vostro fratello ha appoggiato un’incudine sulla bilancia?

4. Range interquantilico Meglio allora premunirsi, prendendo come estremi su cui valutare il Range non proprio le osservazioni più piccola e più grande, ma quelle osser-vazioni (un po’ più ‘interne’ alla serie) che si situano a uguale distanza dal valore centrale della serie ordinata (cioè a pari distanza dalla mediana). Se siamo molto prudenti (perché non ci fidiamo dei valori sulle code, o perché le code non sono nemmeno completate, come nel caso di serie statistiche troncate) prenderemo la differenza tra il terzo e il primo quartile: 3Q4(X)- 1Q4(X) = Range Interquartile (IQR o DIQ). Se ci fidiamo dei valori assunti dalle osservazioni del primo decile (che la-sciano solo il 10% con valori più bassi) e al nono decile (lasciano solo un 10% più alto), prenderemo 9Q10(X)- 1Q10(X) = Range Interdecilico. Il range interquartile a Milano e nei paesi è assai simile. Il range inter-decile è invece assai diverso. Segno che la differenza sta nella distri-buzione tra il 75° e il 90° percentile.

5. Minima funzione quadratica di perdita Per una variabile quantitativa come misurare la dispersione intorno al centro? Sappiamo che la media aritme-tica è la misura di posizione che rende minima una funzione qua-dratica di perdita di informazione E’ quindi ragionevole usare come mi-sura di dispersione la funzione qua-dratica centrata sulla media aritme-tica. La chiamiamo varianza. La varianza è la minima funzione quadratica di perdita intorno alla media aritmetica

6. Calcolo della varianza Nota: se nella ultima colonna moltiplichere-mo gli scarti quadratici per le numerosità invece che per le frequenze assolute, nes-sun problema: basterà divi-dere il totale per N: Var(X) = (xi–m)ni/N • Per calcolare una varianza useremo le colonne già imposta-te per il calcolo della media, cui aggiungerne tre: • le differenze semplici rispetto alla media (la loro somma ponderata per le frequenze è zero!), • le differenze al quadrato, • le differenze quadratiche ponderate con le frequenze.

7. Dalla varianza alla ‘deviazione standard’ Torniamo ai 46 azionisti e loro azioni. mX=xi ni/N= =1000/46=21,74 X=527,41=22,96 VX=(xi–mx)2ni/N=24260,8696/46=527,41 ni La misura ottenuta è confrontabile con quel-la di altre variabili e ha molte belle proprietà (altre ne vedremo) ma è poco comprensibile. Essa (somma di quadrati di scarti) è di ordine quadratico rispetto alle modalità osservate. m+ =44,7 xi m=21,7 m+2=67,7 La radice quadrata di V(X) si chiama Deviazione Standard o Scarto Quadratico Medio. La indichiamo con X=2X. Essa misura l’unità standard di dispersione della v.s. intorno alla media.

8. Come varia la varianza? Per valutare la capacità di misurare la variabilità di  simuliamo quattro possibili distribuzioni di una v.s., tutte con media 4. Nel primo caso le 10 osservazioni sono uguali. In assenza di variabilità tutti gli scostamenti dalla media sono nulli: c’è corrispondenza biunivoca tra =0 e zero-variabilità. Nel secondo caso invece le osservazioni iniziano ad aprirsi, sia pur limitatamente, intorno alla media:  ne risente.

9. La varianza cresce se cresce la polarizzazione Nel terzo caso (distribuzione uniforme, amodale) il peso delle osservazioni addensate intorno alla media diminuisce notevolmente:  cresce. E cresce ancora quanto più aumenta il peso sulle code della distribuzione. Dunque la varianza misura la dispersione intorno alla media, e assume valori positivi o nulli, valendo zero in caso di zero-variabilità.

10. I due significati della deviazione standard • Sono dunque due i significati utili della deviazione standard: • Come misura sintetica della dispersione di una v.s. intorno alla media, per valutare complessivamente la variabile stessa, • Come unità di misura della dispersione intorno alla media, per valutare lo scostamento di una singola osservazione dal polo centrale. ni mx=15,6 m-2=8,6 m+2=22,6 xi Pazienti anoressiche per età di insorgenza Anche per la varianza come per la media il cal-colo per variabili per classi passa attraverso i va-lori centrali delle classi. m-=12,1 m+=19,1 VX=12,456 X=3,529

11. Una formula operativa per il calcolo di V(X) Come si era visto per la media, già l’uso di frazioni nel calcolo richiedeva di portarsi dietro un ‘congruo’ numero di decimali. La farraginosità della procedura di calcolo della varianza è accentuata dal passaggio attraverso quadrati di scarti, scarti che non sono necessariamente in cifra tonda. Vale però l’equivalenza tra la definizione di V(X) e una sua utile scomposizione: Dimostrazione

12. Media quadratica o momento secondo Nella formula operativa la varianza è scomposta nella differenza di due misure sintetiche di X, che appartengono ad un'unica famiglia di misure di sintesi, dette momenti di ordine k:  In particolare: se k = 1 [momento primo] se k = 2 [momento secondo] Dunque la varianza è uguale alla differenza tra il momento secondo e il quadrato del momento primo:

13. Equivalenza della formula operativa Verifichiamo l’equivalenza tra formula definitoria e formula operativa della varianza, sui nostri 46 azionisti. mX=xi ni/N=1000/46=21,739 m2X=xi2ni/N= 46000/46 = 1000 VX= m2X-(mX)2=1000-(21,74)2=527,41 La formula operativa produce esattamente lo stesso risultato della formula ufficiale. Essa è però di più semplice applicazione, perché non richiede di calcolare “quadrati di scarti” dalla media: quadrati che possono trascinarsi dietro parecchi decimali e fastidiosi errori di arrotondamento. Attenzione: la varianza è una somma di quadrati: quindi non potrà mai essere negativa!!!

14. Un esempio mx = 43,6 m2X=2608,24 Vx =2608,24-(43,6)2= 707,28 x = 26,6 hi Come unità di dispersione, lo sd permette di analizzare i dati a livello micro: sappiamo per es. che i redditi sopra i 97 milioni sono superiori a m+2 e sono quindi nella fascia alta. Famiglie lombarde per reddito annuo (in milioni di lire) mx=43,6 Come misura di sintesi invece sd e varianza sono di uso più problematico. Possiamo dare un senso al loro ordine di grandezza solo mettendo a confronto popolazioni differenti (e anche in questo caso con prudenza!!) m- m+ m+2 xi

15. Un secondo esempio mxM=3,3438 mxP=2,8025 m2XM=14,6063 m2XP=9,4924 VxM=3,425 VxP=1,638 xM=1,85 xP=1,28 In città il reddi-to medio è più alto. Ma è an-che parecchio più alta la di-spersione intor-no alla media

16. L’utilità del confronto A che soglia un reddito familiare è elevato? Prendiamo come para-metro il valore m+2: esso è pari a 53 milioni e mezzo (5,36) nei piccoli paesi, ed è invece pari a 70milioni (7,04) a Milano: più del 30% superiore. Nei due contesti dunque le due soglie corrispondono a un’uguale condizione di ricchezza. In città più ricchi ma anche più poveri in valore assoluto: la varianza (che a Milano è il doppio di quella dei paesi) conferma quello che già ci diceva la lettura del grafico Più poveri in città P.S.: per comodità avevamo diviso i redditi per 10: ora torniamo a espri-mere m e  nella misura originaria. E’ lecito? Più redditi alti in città Rosso = Milano Blu = Paesi

17. Un terzo esempio L’International Labour Review (2001) ha pubblicato un con-fronto dei differenziali salariali su un ampio ventaglio di occupa-zioni in 80 paesi. Qui riportiamo solo 16 paesi, 8 ad alto reddito e 8 a basso. • Per questa analisi cross section sono state adottate due misure: • Lo sd dei (logaritmi dei) salari • Il rapporto interdecilico Le due misure sono concordi nel de-scrivere una regola statistica: i divari nelle remunerazioni occupazionali salgo-no al calare del reddito procapite nazio-nale (ma questa è già analisi bivariata!) P.S.:Come spieghereste il fatto che Giappone e Camerun infrangono la concordanza?

18. La variabilità in caratteri qualitativi Con variabili ordinali (es. deputati per schieramento da sinistra a destra) sarebbe impossibile misurare la variabilità attraverso la varianza (le distan-ze tra modalità non hanno infatti valore assoluto). Altrettanto impossibile è applicare la varianza a variabili nominali (come la composizione della Came-ra per professioni). Eppure in tutti questi casi avevamo trovato un modo per ‘misurare’ la modalità più rappresentativa (la moda) facendo uso delle sole frequenze (e non delle modalità). Possiamo inventarci qualcosa anche per la variabilità?

19. Costruire una misura di eterogeneità Confrontiamo le due v.s. Y e X: la varianza della prima è molto maggiore. Ma supponiamo che le modalità siano soltanto le codifiche di risposte di-verse a una domanda di un questionario. In Y i numeri sono più dispersi, ma di fatto c’è lo stesso grado di uniformità o eterogeneità osservato in X: una risposta ha avuto il 40% delle osservazioni, altre due il 30% ciascuno. Una misura di eterogeneità deve quindi basarsi esclusivamente sulle fre-quenze. Noi la costruiamo a tavolino in modo che soddisfi due condizioni: • L’indice sia 0 e sia 0 in assenza di va-riabilità, quando tutte le N osservazioni corrispondano a una sola modalità • L’indice sia massimo quando la popo-lazione si distribuisce equamente tra m modalità con uguale frequenza 1/m.

20. L’indice E di Gini Tra gli indici che soddisfano le due proprietà uno è più semplice degli altri. In caso di assenza di eterogeneità tutte le frequenze sono nulle, tranne quella della modalità osservata che sarà =1. Quindi E=1-1=0 In caso di massima eterogeneità tutte le m modalità hanno uguale frequenza 1/m, quindi: Tre annotazioni: • Emax è sempre inferiore a 1, e tende a 1 se le modalità sono numerose • Se E ha un massimo che varia col numero delle modalità osservate conviene relativizzare E rapportandolo al suo massimo: E*=E/ Emax. • E ha un massimo, la varianza no. Ci avete fatto caso?

21. Calcolo di E: un esempio Nel settore dei tubi magici operavano 5 aziende. Tuc possedeva il 50% delle quote di mercato, Puc il 20%, le altre tre (Cuc, Muc, Gnuc) il 10% ciascuno. Ma a un certo punto Gnuc assorbe le altre due piccole e il mercato si semplifica a tre soli operatori. Come cambia E tra prima e dopo? E =1-0,32=0,68 Emax =(5-1)/5=0,80 E*=0,68/0,80=0,85 E =1-0,38=0,62 Emax =(3-1)/3=0,67 E*=0,62/0,67=0,93 Morale: il mercato si è ‘semplificato’ perché vi operano meno attori, e l’ete-rogeneità apparentemente è diminuita (da E=0,68 a E=0,62). Ma se ‘relativizziamo’ (presto parleremo di ‘normalizzazione’) l’eterogeneità rispetto al numero delle modalità, troviamo che l’eterogeneità effettiva è nettamente cresciuta (da E*=0,85 a E*=0,93). In effetti, ora Tuc avrà più difficoltà a controllare il mercato.

22. Tre annotazioni su E di Gini Vi siete accorti che la v.s. quantitativa Y qui accanto e la v.s. no-minale X della pagina prima sono conteggi di-versi degli stessi dati? In X le quote di mer-cato erano frequenze relative di possesso da parte di diverse aziende. In Y le quote di mercato sono rapporti statistici assunti come modalità e gli attori sono accorpati secondo la dimensione del ‘pacchetto’. Nelle analisi economiche di settore, per studiare la concentrazione di un settore si utilizza l’indice di Herfindal-Hirschman, calcolato come somma dei quadrati delle quote di mercato di tutte le di-verse imprese: H= ixi2 L’indice H è il comple-mento a 1 di E di Gini. E’ minimo se c’è max eterogeneità (polveriz-zazione delle quote di settore) e vale 1 nel ca-so di zero-variabilità, o max concentrazione. Posso calcolare E an-che per v.s. quanti-tative ma ha scarso significato. In questo caso E=0,56 e E*= 0,84, sia che il pac-chetto azionario del 20% di operatori più importanti sia di sole 50 azioni l’uno, sia che sia di 500!