Lezione B.11 Non linearità e quant’altro

1. TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli Lezione B.11 Non linearità e quant’altro

2. In questa lezione.. • In questa lezione ripartiremo dall’interpolazione di una nuvola di punti mediante una funzione rettilinea, per passare a strategie di interpola-zione un pochino più complesse ma più capaci di adattamento. Esamineremo preliminarmente la funzione residuo e la sua utilità per cogliere graficamente eventuali modelli differenti dalla retta. Dopodiché accenneremo a tre strategie possibili: • L’intervento diretto (manuale) del ricercatore sui casi anomali. • L’interpolazione con una funzione polinomiale di ordine superiore alla retta. • L’interpolazione con una funzione non lineare che sia però ricon-ducibile al modello della retta • Concluderemo con un rapido accenno al problema della Ecological Fallacy

3. Ripartiamo da un esempio Partiamo da un problema apparentemente risolto al primo colpo. Siano dati per N=9 individui l’età (X) e il reddito mensile in migliaia di euro (Y). Il diagramma di dispersione mostra come una relazione rettilinea sia davvero ottima.. VX=41,78; VY=3,682 CovXY=+12,022; rXY=+0,9693 bYX=+0,28777; aYX=-5,43298 R2YX=0,94!!! Ogni anno in più in media 288mila lire di incremento lineare di reddito. Ma si inizia a guadagnare solo dopo i 19 anni...

4. Una interpolante soddisfacente Caspita, il 94% della variabilità di Y è spiegato dalla relazione lineare con l’età: Y =-5,43282+0,28776 X. Interpoliamo la retta MQ, calcolando il valore teorico di Y per X=18 (Y=-0,25) e per X=42 (Y=6,65). Possiamo verificare che la somma dei valori teorici è = alla somma dei valori osservati, che la somma degli scarti semplici è zero, e che il rapporto tra la varianza residua VWR(Y)=0,223 e la varianza totale VT(Y) è =0,06, cioè VWR(Y)/ VT(Y) = 1- R2YX

5. Una cartina di tornasole: l’analisi dei residui Un metodo per esplorare i limiti della regressione lineare consiste nell’esaminarne i residui. Se chiamiamo Y la variabile osservata e  la funzione teorica interpolante (per esempio Y=i=a+bxi), definiamo funzione residuo la differenza =Y-. E’ intuitivo che (Yi-i)=0. Ma se la funzione teorica è stata stimata col criterio dei MQ (solo in quel caso), allora la funzione residuo gode di altre proprietà notevoli: (Yi-i)2 =  2 = minimo Cioè, per costruzione, il ‘danno’ complessivo è il minore possibile. Inoltre (Yi-i)(i-mY)=Cov(,)=0 e dato che i=a+bxi è linearmente dipendente da xi, vale anche: Cov(,X)=0 Cioè i residui ottenuti col MMQ sono incorrelati con la funzione teorica e con la variabile esplicativa.

6. Plottare i residui sulla variabile esplicativa ‘Plottiamo’ i residui sui valori teorici i o sulle Xi, di esse. Cioè costruiamo un grafico coi residuiin ordinata, e in ascissa i corrispondenti valori teorici di Y (i) odirettamente i valori Xi (dato che essi sono linearmente connessi con i i). Se i residui sono incorrelati con i e con Xi, il grafico non mostrerà particolari relazioni. Guardiamo invece il grafico dei residui della regressione reddito-età, plottata rispetto alle età. Esso evidenzia una chiara relazione curvilinea. Certo Cov(i,Xi)=0 per costruzione. Ma il grafico fa intravvedere altre relazioni o fa sospettare su qualche dato inserito nel grafico. Trasporre in grafico i residui consente di evidenziare l’eventuale inefficacia del modello lineare semplice. Se esso è efficace, dovremmo trovare incorrelazione degli errori e una varianza vincolata grossomodo costante per tutto il grafico.

7. Prima strategia: intervenire sugli outliers Che possiamo fare per migliore l’adattamento della legge interpolante? La prima strada che si può percorrere è quella di rimuovere dati che si presumono spiccatamente anomali. Sta alla sensibilità e alla responsabilità di chi elabora i dati di percepire che uno o più di essi è anomalo. Nell’esempio si può ritenere che la prima e la nona osservazione mostrino redditi sistematicamente più alti delle altre. La retta stimata è: Y=-5,56+0,285X Il coefficiente di determinazione è: R2=0,951. R2 è ancora mi-gliorato! Ma l’arbi-trarietà della ma-nipolazione è dav-vero forte..

8. Seconda strategia: interpolare una funzione polinomiale Chiamiamo funzione polinomiale di grado N in x una generalizzazione della funzione rettilinea in cui la variabile dipendente compare in tutte le poten-ze di ordine k=1,..,N: y=N(x)=a0+a1x+a2x2+..+aNxN = a+bx+cx2+..+kxN. Sappiamo tutti che tra due punti (due coppie di osservazioni) passa esattamente una sola retta, tra tre punti una sola parabola e così via. Ma non conviene pro-cedere oltre la polinomiale di grado 3 per interpolare i dati: il costo (di calcolo, di interpretabilità) supererebbe i vantaggi! Tanto più nelle distribuzioni statistiche con-giunte, dove per ogni X non v’è un solo valore di Y, ma una distribuzione statistica. Tra questi tre punti passa una parabola che si adatta perfettamen-te ai dati… Ma se due dei 3 punti corrispon-dono a una sola X non c’è funzio-ne (retta,curvili-nea)che si adatti Ma la cosa interessante di una interpolazione polinomiale è che anche per essa si possono determinare stime MMQ, che godono delle proprietà della retta MQ. In particolare: Cov(,)=0 (l’interpolante polinomiale è incorrelata coi residui) e VarWP(k)+VarBP(k)=VarT(Y)(se la polinomiale non ha intercetta vincolata la varianza di Y è scomponibile tra una varianza ‘spiegata’ e una ‘residua’)

9. Stima di una funzione quadratica Il calcolo di una polinomiale di ordine >1 è comunque una procedura onerosa per la massa di calcoli necessari. Nessuno vi chiederà mai di calcolarvela a mano (con la macchinetta da un dollaro), semmai vi si chiederà di saperne utilizzare le stime in modo accorto. Ma – per capire come la stima si ottenga proprio con la stessa procedura adottata per la retta MQ – accenniamo alla stima di una funzione quadratica, o parabola. Ricordate la stima della retta? Si cercavano i parametri aYX (intercetta all’origine) e bYX (pendenza) della retta che minimizzano la funzione di danno quadratico: D = (yj - i)2fij = (yj – aYX – bYX.xi)2fij = minimo. Alla stessa stregua,per stimare la polinomiale Y=aYX+bYX.X+cYX.X2 che meglio si adatta alla nuvola dei punti osservati, è sufficiente stimare i parametri aYX (intercetta all’origine) bYX e cYX della curva che minimizzano la funzione di danno quadratico: D = (yj - i)2fij = (yj – aYX–bYX.xi-cYX. xi2)2 .fij = minimo

10. Calcoli intermedi per la stima della parabola Sappiamo che l’intercetta MQ della retta è pari a aYX=mY–bYXmX e il coefficiente angolare bYX è: Nel calcolo della retta MQ entravano quindi in gioco, come calcoli intermedi, le me-die delle variabili X, Y, X2, Y2, XY (le solite cinque colonne..) I coefficienti della parabola MQ hanno allora le seguenti formule: Le formule dei due coefficienti di regressione sono speculari tra loro, con poche inversioni di variabili E ovviamente aYX=mY–bYXmX-cYXm2X

11. Un esempio di calcolo della parabola Abbiamo tutti i parametri intermedi per stimare la parabola MQ. Chi vuole può verificare calcolo per calcolo che: Y = a + bx + cx2 = 4,964 – 0,445x + 0,0123x2 I valori teorici stimati sono ora davvero vicini ai valori osservati. Infatti: Come nella regressione lineare semplice, dal principio di scomposizione della varianza discende l’utilità di una misura di adattamento della interpolante poli-nomiale di ordine k, simile al coefficiente di deter-minazione. Per k=2 si ha:

12. Terza strategia: interpolare una funzione nonlineare • Le funzioni polinomiali non sono le uniche che merita interpolare nei dati. Altre funzioni possono ‘fittare’ anche meglio i dati, e prestarsi a migliori interpretazioni. E’ vero però che i modelli polinomiali (tra cui la retta) sono modelli lineari (Ml) (in quanto vi intervengono linearmente i parametri della relazione) additivi (in quanto intervengono solo in forma additiva) e come tali godono delle proprietà di scomposizione della varianza che stanno alla base del metodo di stima ai MQ. • Tuttavia tra i modelli nonlineari dobbiamo distinguere due tipi diversi: • Modelli nonlineari intrinsecamente lineari (Mil) sono quelli ricondu-cibili, mediante trasformazioni opportune delle variabili coinvolte, a funzioni lineari dei parametri di regressione. • Modelli intrinsecamente nonlineari (Mnl) sono quelli in cui non esiste trasformazione che consenta la linearizzazione. • Il vantaggio dei Mil sta proprio nel fatto che essi possono essere linearizzati e su tale trasformata può essere applicata la procedura MQ di calcolo della funzione lineare semplice.

13. Una procedura in tre passi di interpolazione • L’interpolazione MQ su funzioni non lineari Mil si svolge quindi in tre step: • Si trasformano le variabili Y e/o X in modo che la trasformata del modello prescelto sia lineare. • Si stimano i parametri MQ a partire dai dati linearizzati. L’interpolante così stimata gode delle proprietà MQ se applicata ai dati trasformati. • Si calcola la funzione interpolante nonlineare sui dati originari, me-diante la regola di trasformazione inversa. Ma attenzione!! I parametri stimati per le relazioni originali (passo 3) non godono delle proprietà MQ (che valgono solo per le relazioni linea-rizzate del passo 2). Pertanto per valutare il grado di adattamento del modello occorrerà passare attraverso la varianza residua intorno all’interpolante teorica. Esempi di funzioni Mil: Esponenziale: y=aebx Logaritmica: y=a+blogx Iperbolica: y=x/(ax+b) Logistica: y=ea+bx/(1+ea+bx)

14. Modelli non lineari linearizzabili Ecco quattro modelli non lineari linearizzabili. In giallo il modello. In grigio la trasformazione linearizzante (passo 1). In rosa la forma lineare corrispondente, su cui si stima la retta MQ (passo 2). In azzurro le trasformazioni inverse con le quali si risale alla funzione interpolante.

15. Un esempio di interpolazione esponenziale Sui soliti dati reddito-età interpoliamo una funzione esponenziale y=aebx. PASSO 1: Per prima cosa operiamo la trasformazione: y*=logy. PASSO 2: Sulle coppie di coordinate (xi,y*i) stimiamo la relazione lineare y*° = A+bx = -2,047+0,100334x (R2 =0,996) PASSO 3: con la trasformata inversa y°=ey*° risaliamo all’esponenziale: y° = e-2,047+0,100334x = e-2,047.e0,100334x = = 0,0817.e0,100574x La somma ponderata dei quadrati dei residui misura la varianza residua: (yi-y°i)2/N=VW=0,0407 Si noti che VWR/VY = 0,0407/3,682 = = 0,011  1- R2 = 0,009

16. Il problema della ecological fallacy Un ultimo, intrigante, problema. A lungo le scienze sociali si sono cullate nell’illusione che per stimare una relazione tra due varia-bili individuali, per es. tra reddito e consu-mo, fosse sufficiente calcolare analogo coef-ficiente di correlazione detta ecologica cioè tra indicatori aggregati (reddito e con-sumo di differenti paesi, o regioni, o altra aggregazione in un’analisi cross section). La risposta che si da l’econometrica (Klein, 1946) è che la consistenza tra relazioni (blu) micro e relazioni (verdi) macro si realizza solo in casi improbabili (tutte le funzioni di aggregazione (rosse) lineari additive), così che la relazione aggregata va ritenuta “contesto-dipendente”. Explanans individuali Explananda individuali ? ? ? Explanans aggregati Explananda aggregati Tra i coefficienti di correlazione eco-logica e individuale esiste una rela-zione analitica precisa. Detta Z la terza variabile (territori, gruppi) che classifica l’appartenenza dei singoli, Blalock (1964) mostra che: Correlazione individuale e ecolo-gica coincidono solo se c’è totale omogeneità entro i gruppi.

17. Una simulazione Facciamo un esempio ridotto all’osso. Non serve da-re un significato a X, Y e Z: basta pensare Z come indicatore di contesto. L’ellissoide blu mette in evi-denza una buona correlazione positiva tra X e Y su tutta la popolazione disaggregata: YXT=0,60. Analizziamo ora non i dati ‘micro’ ma le loro aggregazioni secondo le mo-dalità di Z. La correlazione ecologica è ora perfetta: YXB=1,00. Ma se studiamo la relazione tra X e Y en-tro ogni singolo contesto le tre ellissi ver-di mostrano perfette correlazioni negati-ve: YX(A)=YX(B)=YX(C)=-1! I rapporti di dipendenza di Pearson (2YZ=0,8= 2XZ) evidenziano la stretta dipendenza di X e Y dal contesto. Se stimiamo la correlazione ‘entro’ (YXW) come media ponderata del-le correlazioni trovate nei singoli contesti, l‘identità di Blalock trova piena conferma:

18. Diffidare di regressioni cross-section Il termine ecological fallacy (Robinson, 1950) sottolinea il rischio di sviluppare convincimenti (e politiche) a partire da presunte relazioni tra attributi ascritti agli individui e loro comportamenti, calcolate con correlazioni ecologiche. Per esempio (mostrava Robinson) la correlazione tra tassi di analfabetismo e di popolazione di colore calcolata sulle 9 grandi ripartizioni degli USA era 0,95, calcolata sui 48 States scendeva a 0,77, mentre la correlazione individuale era stimata a 0,20.. Noi sappiamo che il coefficiente di correlazione risente della dimensione della popo-lazione studiata. Ma l’effetto dimensione non può spiegare la inversione del segno della correlazione passando dal livello ecologico a quello aggregato. E questo è quel che può avvenire, non solo in esempi costruiti a tavolino. Esempio. Per spiegare il paradosso di una fecondità più bassa nei paesi mediterranei a famiglia tradizionale, e più alta nei paesi nordeuropei con modelli familiari più indeboliti, McDonald (2000) rileva l’esistenza di una correlazione positiva tra tassi di fecondità nazionali e grado di equilibrio di potere nei rapporti di genere. Ma indagini Survey entro i singoli paesi mostrano in genere come siano proprio le coppie più “sbilanciate” in senso tradizionale ad avere più figli. Dunque a una correlazione ecologica positiva fanno da contraltare correlazioni individuali negative. Morale: diffidiamo sempre di facili interpretazioni tratte da analisi ‘ecologiche’ o cross-section!!