1 / 24

Lezione B.8 Regressione lineare

TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli. Lezione B.8 Regressione lineare. In questa lezione.

nikki
Download Presentation

Lezione B.8 Regressione lineare

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli Lezione B.8 Regressione lineare

  2. In questa lezione.. • In questa lezione ripartiremo dall’interpolazione di una nuvola di punti mediante la spezzata di regressione (funzione che è la migliore di tutte le possibili interpolanti), per poi passare a funzioni rettilinee, magari meno buone, ma capaci di spiegare e di estrapolare. • Faremo la conoscenza con le stime dei parametri di una retta ottenute col metodo dei minimi quadrati. In particolare: • Esamineremo le proprietà di queste stime. • Svilupperemo le procedure di calcolo e di estrapolazione. • Individueremo una idonea misura di goodness of fit. • Accenneremo alla stima della retta con intercetta vincolata. • Confronteremo le stime ottenute con quelle che si ottengono interpolando la retta entro la linea di regressione. • Preciseremo la procedura di calcolo per dati in forma di tabella.

  3. La linea di regressione ha davvero scarso appeal • La funzione (di qualunque tipo) che si adatta ‘meglio’ ai dati di una nuvola di punti, minimizzando la funzione di perdita, è solo e sempre la spezzata di regressione. Ma francamente, la spezzata è una legge che non soddisfa le nostre esigenze interpretative e decisionali. Per almeno due ordini di motivi: • Perché, essendo una funzione ‘ad assetto variabile’, priva di una sua personalità, non ci consente di cogliere il tipo di relazione tra X e Y (Y cresce con progressione aritmetica o geometrica con X? E’ monotona crescente o ha un picco e poi cala con una forma parabolica, o oscilla in forma sinusoidale?). Non ci consente insomma di individuare una ‘legge semplice e chiara che definisca Y in funzione di X’. • Perché non ci consente di fare simulazioni sul variare di Y per valori non osservati di X (per esempio, data la spezzata di regressione, quale potrebbe essere una performance attesa a 23 o a 24 anni?): non ci consente cioè di estrapolare stime fuori del campo di variazione osservato. Ben consapevoli di non trovare la migliore interpolante possibile, preferiamo allora cercare non una generica funzione, ma la retta Yj = i = a + bxi che meglio si adatta ai punti del grafico.

  4. Stimare la retta miglior interpolante Si tratta insomma di stimare i parametri a (intercetta all’origine) e b (pendenza) della retta che minimizzano la funzione di danno quadratico: D = (yj - i)2fij = (yj – a - bxi)2fij = min Ma quale retta, tra le infinite possibili che passano entro la nuvola di punti, è quella che meglio vi si adatta, minimizzando D? Proviamo a interpolare tra i dati due possibili regole. La seconda Y**=E(Y) ha una varianza residua elevata VW**=23,4. La prima Y*=180+2X, tracciata ‘a naso’ si adatta assai meglio. Ma sarà la migliore?

  5. Stimare col metodo dei minimi quadrati Si definisce “Metodo dei Minimi Quadrati” (MMQ) quello che consente di stimare la forma analitica dei parametri che minimizzino la funzione D. Si dimostra che le stime ai Minimi Quadrati (LS, least squares) della retta sono: aYX = intercetta all’origine = mY – bYXmX bYX = coefficiente angolare = covYX/varX La retta stimata ai MQ ha la forma analitica: Quel che c’è di intrigante nel Metodo dei Minimi Quadrati è che per stimare la retta ottima interpolante è sufficiente avere a disposizione quattro soli parametri statistici empiricamente calcolabili. Di questi uno solo (la covarianza) ha a che fare con la distribuzione congiunta (Y,X). Gliu altri tre (le due medie e la varianza della variabile indipendente, o esplicativa) sono addirittura parametri univariati!

  6. La procedura di calcolo Per stimare la retta ai MQ dobbiamo dunque impiantare la tavola di calcolo già usa-ta per rXY (i quadrati di Y non servono, ma tra poco torneranno utili!!). I calcoli in-termedi sono: mX=19,6; mY=220; m2X=386; VX=1,84; mXY=4317,6; covXY=+5,6. Quindi bYX=covYX/varX=5,6/1,84=3,04 e aYX=mY–bYXmX=220-(3,04x19,6)=160,35 Nella fattispecie, la retta ai MQ – con pendenza più forte di quella precedente - ha una varianza residua ancora migliore (6,357 vs 9). Si noti un’altra proprietà delle stime Y*i basate sulle stime MQ: esse lasciano inalterata l’intensità totale di Y. Inoltre VY=23,4 e rXY=0,853.

  7. Interpolare, estrapolare La retta ai MQ stimata è Y* = 160,35 + 3,04X. La prima cosa da fare è tracciarla entro il grafico, per ‘vedere’ l’andamento della ‘legge rettilinea’ che associa X a Y. Per tracciarla basta calcolare i valori teorici Y* corrispondenti a due valori di X agli estremi del grafico (per es.: se X=18 Y*=215,13) e poi congiungerli. Ma possiamo ora anche ‘estrapolare’ stime dalla funzione. Per esempio, nessun atleta seguito ha 23 anni, ma in base alla nostra funzione possiamo prevedere che a 23 anni la performance possa essere Y*=160,35+(3,04x23)=230,27 (wow!). se la retta non si insinua bene tra i da-ti delle due l’una: o avete sbagliato a calcolare la retta o avete sbagliato a tracciarla!!

  8. Scomporre la varianza intorno alla retta ai minimi quadrati Abbiamo detto che la proprietà di spaccare (scomporre) la varianza totale della variabile da spiegare in due parti (una quota ‘spiegata’ dall’explanans e una ‘residuale’) vale per poche funzioni y=(x), oltre alla spezzata di regressione. La proprietà di scomposizione della varianza vale per le funzioni lineari di regressione stimate col metodo dei MQ, e in primo luogo per la retta MQ: VarT(Y) = VarWR + VarBR dove VarWR è la somma dei quadrati degli scarti tra valori osservati e ‘teorici’ (calcolati cioè in base all’equazione stimata) ponderati per le rispettive frequenze. Analogamente al rapporto di correlazione 2YX possiamo così costruire una misura del gra-do di adattamento (goodness of fit) della retta MQ ai dati, ossia una misura del grado in cui la relazione rettilinea con l’explanans X ‘spiega’ la variabilità di Y. La misura è:

  9. Il coefficiente di determinazione Come YX anche 2YX è una quantità compresa tra 0 e 1, che si può calcolare come complemento a uno del rapporto tra la varianza residua e la varianza totale di Y. Nel caso dei 10 atleti V(Y)=23,4; VWR(Y)=6,353; R2YX=1-(6,353/23,4)=0,728. Possiamo dire che il 72,8% della variabilità di performance dipende dall’età. Per quell’esempio avevamo già calcolato 2=1-(VWG/VY)=0,7565: a conferma che è la spezzata di regressione (e nessun’altra funzione) l’ottima interpolante. La retta MQ è solo un second best. Vale la disequazione: Il calcolo di R, passando dalla stima dei valori teorici e dagli scarti al quadrato (varianza residua) è però un po’ faticoso. Ma c’è una splendida sorpresa. Se la retta è stimata ai MQ (e solo in tal caso) senza alcun ulteriore vincolo si dimostra che il coefficiente di determinazione è esattamente pari al quadrato del coefficiente di correlazione lineare! Nel nostro esempio: R2YX=(0,853)2 =0,728

  10. Un esempio Un’analisi cross-section su due misure di pari opportunità (X=% donne che lavora, Y=disuguaglianza nei redditi) per 12 paesi europei mostra che se sa-le l’occupazione femminile cala la disuguaglianza (ma R2YX è bassa) E(X)=0,55; V(X)=0,0175; E(Y)=0,61; V(Y)=0,0169 Cov=-0,0095; XY=-(0,0095/0,0172)=-0,5523 bYX=-(0,0095/0,0175)=-0,5428 aYX=0,61-(-0,5428x0,55)=0,91 R2YX=(XY)2 =0,305 (bassa)

  11. Un secondo esempio: scomporre un miscuglio Distribuzione di 18 regioni italiane (Piemonte+Vald’Aosta e Abruzzi+Molise) secondo X=Divorzi per 100mila abitanti al 1988 e Y=coppie non coniugate per 1000coppie al 2001 Y Laz X- Y+ X+ Y+ Ven X- Y- X+ Y- Umb X XY= 0,88(ma se separassimo nord e sud, cosa troveremmo? Alla prossima lezione ..)

  12. Scomporre un miscuglio / 2 Se separiamo le 8 regioni del Nord dalle 10 del Centro -Sud troviamo rette diverse con grado di adattamento assai più basso. E’ dunque la distinzione Nord/Sud a ‘fare la differenza’!

  13. Un terzo esempio: manipolare outliers Costruiamo il diagramma di dispersione delle venti regioni italiane in base a due indici di struttura al censimento della popolazione del 2001: V è l’indice di vecchiaia (Pop>64/ Pop<15%), C è la quota di coppie non coniugate sul totale delle coppie, per mille. Due osservazioni: (1) Il diagramma si addensa gene-ralmente in un’a-rea a forma di el-lisse, che si defi-nisce ‘nuvola di punti’. (2) Rispetto ai confini dell’ellisse alcuni casi assu-mono una coordi-nata anomala: si parla di ‘outliers’. C Val d’Aosta Liguria V

  14. Manipolare outliers/2 Cosa succede se escludiamo dall’analisi il dato anomalo della Val d’Aosta? rXY= 0,593 R2YX= 0,352 bYX= 0,247; aYX= -3,032 rXY=0,526  R2YX=0,277 bYX=0,252; aYX=-1,324 C C Val d’Aosta Liguria Liguria V V La retta ai MQ mantiene la stessa pendenza, ma si sposta un po’ più in alto

  15. Un quarto esempio: computer e cellulari X= numero di computer per 100 abitanti, Y=numero di cellulari per 100 abitanti, al 97 in 15 paesi europei. C’è correlazione tra i 2 fenomeni?

  16. Computer e cellulari/2 C’è, sì, correlazione tra i due fenomeni, ma la correlazione è assai diversa per i paesi del centro Europa, rispetto a quelli del sud e del nord. La covarianza tra computer e cellulari è quindi diversa nelle tre ripartizioni geografiche. Forse le ripartizioni geografiche influiscono, prima che sulle correlazioni, già sulle distribuzioni di frequenza di X e Y? Abbiamo già le varianze vincolate delle tre ripartizioni geografiche (e la varianza generale) sia per X che per Y. Il calcolo di 2XG e 2YG ci dice che la varianza della diffusione dei computer è spiegata in misura altissima dal parametro geografico, mentre meno forte è la sua influenza sull’uso di cellulari.

  17. Computer e cellulari/3 Sia X il numero di computer e Y il numero di cellulari per 100 abitanti, al 1997, in 15 paesi europei. La retta stimata ai MQ che lega Y a X per l’intero continente è: Y=1,287+0,82X. Ma essa si scompone in tre diverse rela-zioni funzionali per Nord, Centro e Sud: Y=-92,5+3,75X al Nord (R2=0,79) Y=+4,85+0,36X al Centro (R2=0,17) Y=-0,53+1,49X al Sud (R2=0,79)

  18. NB: instabilità della relazione se V(X) è bassa Nei 5 paesi del Nord la relazione MQ trovata è Y=-92,5+3,75X La goodness of fit è alta (79% della varianza di Y è spiegata da X) ma qualcosa non quadra: la relazione è tutta ‘trainata’ dal caso inglese, che si differenzia dagli altri. Se si esclude il dato UK la prima cosa che colpisce è che la V(X) diventa piccolissima. E R2 diventa insignificante Attenti: se la varianza dell’explanans X è molto piccola, diffidare delle stime MQ di una retta!

  19. Corollario 1: Minimi quadrati vincolati In alcuni casi i risultati della stima della retta sono sottoposti ad alcuni vincoli, legati alla specificità del fenomeno studiato. Per es. si può voler interpolare la nuvola di punti con una retta che passi per l’ori-gine, dove quindi l’intercetta all’origine sia vincolata: aYX=0. In questo caso il coefficiente di regressione stimato (con il metodo dei minimi quadrati ‘vincolato’) è pari a: Per ricordarsi questa variante si noti come (non a caso) numeratore e denomina-tore sono i primi addendi rispettivamente del numeratore e denominatore della formula completa, espressa con le le formule operative di covYX e di varX) Naturalmente se la funzione non è stimata ai MQ o è stimata coi MQ vincolati la relazione R2YX=(YX)2 non sussiste e la bontà dell’adattamento va misurata attraverso la VarWR.

  20. Un esempio Su 5 contribuenti è stato rilevato il reddito procapite (X) in migliaia di euro, e il consumo per beni di base (Y) in centinaia di euro. Ecco i calcoli per la retta MQ: mX=3; mY=5; m2X=13,8; m2Y=28,6; VX=4,8; VY=3,6; mXY=18,2; covXY=+3,2. Quindi bYX=0,67; aYX=3; rYX=0,77; Y=3+0,67X. Se X=0 allora Y=3; se X=6 allora Y=5… Ma la retta interpolata ci dice una cosa curio-sa: che con zero entrate c’è comunque un consumo di 300 euro. Non va mica bene.. A noi interessa trovare una retta magari meno buona (aumenterà la varianza residua) ma che per redditi nulli abbia consumi nulli: in-somma una retta che passi per l’origine. Essa avrà quindi intercetta aYX=0 e pendenza bYX=18,2/13,8=1,32. La retta Y=1,32X si impenna ora molto più brusca. Calcolate voi la varianza residua e confrontatela con quella della retta non vincolata.

  21. Corollario 2: Interpolante della linea di regressione Generalmente l’interpolante lineare ottima secondo il criterio dei MQ è ottenuta minimizzando la somma dei quadrati degli scarti tra tutte le osservazioni e le corrispondenti interpolanti teoriche. Ma si dimostra che: Si ottiene esattamente la stessa retta ai MQ minimizzando gli scostamenti quadratici tra le medie vincolate EY|xi e i rispettivi valori teorici. I due modi per determinare i parametri della retta ai MQ sono dunque equivalenti. Ma la varianza di Y calcolata tra medie vincolate Y|xi non potrà che essere infe-riore (a volte molto inferiore!) alla varianza tra tutte le osservazioni Yj.Quindi: Attenzione quindi!! Interpolando la retta MQ intorno alla spezzata, va bene fidarsi dei para-metri della retta, ma non del coefficiente di determinazione R2YX= (YX)2!

  22. Il solito esempio (con una variante) I soliti dieci atleti.. Torniamo ai dieci saltatori ma con una variante: I tre ragazzi di 18 anni saltavano – ricordiamo – rispettivamente 212, 215 e 218 cm: insomma c’era il più bravo e il meno bravo. Facciamo ora l’ipotesi che tutti e tre saltino 215 cm (cioè la media) e che quindi non ci sia variabilità entro la classe di età. E lo stesso facciamo per i 19enni e così via. Stimiamo la regressione MQ delle medie vincolate YVi delle performances al variare dell’età(è tra l’altro un buon esercizio di calcolo con modalità congiunte ponderate per le rispettive frequenze): otterremo una identica retta (bYX=160,35 aYX=3,04) ma adattamento molto più elevato (R2YX=0,958)!!

  23. ..e una controprova Ma supponia-mo che i dieci ragazzi abbia-no la stessa performance media per età, ma tra quelli di pari età ci sia più variabilità: Il diagramma è più disperso. E la retta MQ? I soliti dieci atleti.. I soliti dieci atleti ma più variabilità.. Si trova bYX=160,35; aYX=3,04 (la retta stimata è la stessa) maR2YX=0,36 (l’adattamento peggiore)!! Morale: a parità di spezzata di regressio-ne (quindi di retta ai minimi quadrati) la goodness of fit può variare assai.

  24. Corollario 3: Stima da dati in forma di tabella Come già il coefficiente di correlazione, anche la retta ai MQ può essere calcolata a partire da una tabella a doppia entrata. Facciamo un esempio. Per 50 studenti conosciamo informazioni: il numero di componenti la famiglia (X) e il voto mediano (Y) ai temi in classe. Stimiamo la relazione lineare tra X e Y. I calcoli intermedi (effettuati analiticamente sull’intera distribuzione congiunta) so-no: mX=1,60; mY=6,44; VX=1,44; VY=42,44; covXY=+0,58. I parametri stimati sono bYX=0,4 e aYX=5,8. Ma l’adattamento è basso: rXY=+0,074 e R2XY=0,0055. Se invece avessimo associato la dimensione familiare non ai voti di ciascuno stu-dente ma alle sole medie vincolate (colonne cerchiate), e avessimo quindi stimato la retta MQ intorno alla spezzata di regressione, avremmo trovato la stessa retta, ma con goodness of fit ben diversa: VE(Y(X)=0,234; rXE(Y/X)=+0,991; R2XE(Y/X)=0,982

More Related