Cominciamo a “scavare” dentro un modello che (dovremmo) conoscere bene Il modello di regressione

1. Cominciamo a “scavare” dentro un modello che (dovremmo) conoscere bene Il modello di regressione

3. n individui su cui è misurata una variabile Y ad esempio l’acquisto di pane e vogliamo una misura sintetica, (“piccola” misura  “modulus”  MODELLO), che descrive il fenomeno “acquisto di pane Numerose possibilità di descrivere il collettivo, ad esempio la media Ma che modello è???? La misura individuale è data da: Come costruiamo il modello? immaginiamo che “IN ASSENZA DI VARIABILITA’” tutti acquisterebbero, ad esempio, lo stessa quantità di pane…che ovviamente non conosciamo. Però poi osserviamo quantità diverse negli individui e giustifichiamo questa diversità immaginando (ipotizzando) un MODELLO per la parte variabile POI sulla base di questa ipotesi (MODELLO) attribuiamo un valore alla quantità  di pane che tutti acquisterebbero.

4. Quali ipotesi? • Le sapete, però definiamole in un altro modo rispetto all’usuale: • Tutti “hanno bisogno” di una certa fissa quantità di pane • Ma… al momento di comprare (o anche prima) ognuno si discosta da quella fissa quantità secondo una qualche “legge” • Cioè la tendenza comune si “manifesta” in modo variabile, se vogliamo quantificare la tendenza comune NON OSSERVABILE dobbiamo immaginare qualcosa sulla sua manifestazione, cioè sulla sua variabilità • Se il MODELLO che immaginiamo per la variabilità è vero, allora abbiamo un modo per arrivare alla quantità comune incognita

5. Potremmo anche immaginarci la cosa in questo modo con riferimento alla vecchia TOMBOLA o alle estrazioni del LOTTO: Ognuno “sa” quanto pane deve acquistare, però data questa quantità quando deve comprare si porta dietro un sacchettino di numeri Il sacchettino contiene numeri positivi e negativi Al momento dell’acquisto ognuno estrae un numero dal sacchetto e somma algebricamente il numero estratto alla quantità fissa Compra la quantità data dal risultato della somma/sottrazione ALLORA IL MODELLO DELLA VARIABILITA’ E’ L’INSIEME DI IPOTESI SULLA COMPOSIZIONE DEL SACCHETTO POICHE’ SI PARLA DI ESTRAZIONE SARANNO IPOTESI SULLA DISTRIBUZIONE STOCASTICA CHE ORIGINA DAL SACCHETTO

6. Usualmente nel nostro linguaggio parliamo di “RESIDUI” come la differenza tra la quantità comune fissa e l’acquisto effettivo e ipotizziamo che: Il parametro di popolazione sia “fisso” e comune” I residui abbiano media 0 Siano omoschedastici Siano incorrelati Vediamo cosa significa questo nei termini del “sacchetto” D’ora in poi chiamerò “tombolino” ciascun numero contenuto nel sacchetto

7. Comincio dal 2: I residui hanno media 0 implica che la somma dei tombolini sia pari a 0 qualunque sia il numero degli stessi Quindi questi sacchetti vanno bene: Ma anche questo che, forse, ci piace meno….. Questo NO! - 1 - 2 -3 +3 +2 +1 0 0 - 4 -8 -12 +12 +8 +4 0 0 - 15 +5 +4 +3 +3 0 0 - 15 +5 +20 -1 +3 0 0

8. I residui hanno media 0 • Che vuol dire??? Ricordate l’esempio della legge dei grandi numeri) • Vuol dire che se ti osservo “tante” volte quando acquisti il pane la media dei tuoi acquisti è il tuo “fabbisogno” di pane • Oppure SE è vera la ipotesi 1 (parametro fisso e comune): • Se osservo tanti “come te” (stessa popolazione) che acquistano il pane la media degli acquisti di tutti è il fabbisogno di pane comune a quella popolazione • ABBIAMO GIA’ UN MODO PER CALCOLARE  ! • TUTTO FATTO? TUTTO RISOLTO? ….. MICA TANTO

9. Facciamo un esempio: 3 soggetti (A;B;C) tutti con lo stesso sacchetto con i seguenti “tombolini” Se osserviamo un atto di acquisto, le combinazioni possibili sono e la somma delle deviazioni sarà: Cioè la somma = 0 che consente il calcolo corretto della media è la più frequente 7 volte su 27 occasioni - 1 0 +1

10. Ma se immaginiamo un signor C più “stravagante” … Cioè A=B= e C= le combinazioni possibili diventano: Ora la somma = 0 Non è più la sola più probabile Abbiamo la stessa prob. di calcolare la media “vera” O una media sbagliata di + o – 3 punti - 1 0 +1 - 5 0 +5

11. Quindi il modello funziona se la “composizione del sacchetto, oltre ad avere media = 0 • E’ anche “simile” cioè ha la stessa varianza o come si dice con una bella parola è OMOSCHEDASTICA • Cioè se è vera la terza ipotesi • E l’INCORRELAZIONE?? • Nella nostra metafora significa che i tre signori estraggono indipendentemente, cioè non si fanno influenzare • Se ad esempio il Sig. B “copia” da A, cioè B non estrae, ma usa il tombolino di A succede quanto segue:

12. Qui è ancora peggio: I valori più probabili sono “sbagliati”

13. In sintesi OLS è un modello piuttosto particolare, spesso non abbiamo alternative ad accettare quelle ipotesi, tuttavia dobbiamo essere coscienti della loro particolarità. Se consideriamo la prima “il parametro è fisso e comune” spesso ce la caviamo sostenendo che se così NON è allora la popolazione è eterogenea, cioè non è un collettivo, ci sono degli “infiltrati” Peraltro, tutti o i test che verificano/falsificano questa ipotesi si basano proprio sulla assunzione che vorremmo verificare. (ci torneremo) In pratica cerchiamo di attenuare questo problema scegliendo un algoritmo di stima che garantisce che i RESIDUI OSSERVATI (uno per ogni unità, non quelli di CIASCUNA UNITA’) abbiano somma 0

14. Per quanto riguarda l’ipotesi di omoschedasticità e incorrelazione la diagnosi è difficilissima, ma una volta riconosciuto il tipo di malattia, la terapia è facile Ci occuperemo della terapia tra poco, ma la cosa da tenere a mente è che ci sono (molte) situazioni in cui sappiamo già da prima che la malattia c’è, cioè che il modo in cui le unità si comportano o si “fanno” osservare implica una diversa variabilità individuale e/o una correlazione tra le osservazioni In questi casi la malattia non si può ignorare MA RIPASSIAMO UN MOMENTO GLI OLS

16. n individui su cui è misurata una variabile Y Numerose possibilità di descrivere il collettivo, ad esempio la MEDIA Ma che modello è???? La misura individuale è data da: Per trovare un “buon valore” dobbiamo porre delle condizioni ad esempio:

17. a è una stima che proprietà ha?: Il residuo è la “parte” stocastica della stime e quindi del modello.

18. Ma c’è un altro modo di vedere la stima: la misura individuale è data da una parte costante + parte stocastica. Se ricordiamo OLS, avremmo una esplicativa costante + residui Per il collettivo (con X,Y, vettori/matrici):

19. Cerchiamo una stima a per : sappiamo che in forma matriciale la soluzione che abbiamo trovato prima diventa:

20. Ma si tratta di un caso particolare di una soluzione GENERALE posto lo stesso vincolo di minimizzazione Min(’ ), nel caso di eteroschedasticità si ottiene (torneremo sulla dimostrazione) con = matrice di Var/Covar degli 

22.  È esattamente la rappresentazione dei nostri “tombolini” Rappresenta (misura) tutta la nostra incertezza (variabilità e covariabilità) sulle misurazioni singole Ha dimensione nxn Sulla diagonale principale ha l’incertezza sulla misura del singolo individuo (ad esempio l’imprecisione del metro con cui abbiamo misurato Tizio) Fuori dalla diagonale ha la misura della correlazione tra gli errori delle misure tra diversi individui (Ad esempio abbiamo misurato Tizio e Caio con lo stesso metro “sbagliato”)  Di solito (ad esempio OLS) non si “vede”….perchè???? Ricordiamo che la soluzione OLS è

23. Perché OLS, è un caso particolare: Se  è diagonale (tutti e soli valori uguali sulla diagonale), allora diventa uno scalare e si può “semplificare”: E’ una “regola” dell’algebra matriciale, ma vediamola con un esempio: 3 individui su cui abbiamo misurato una variabile Y, con un errore S², senza lacuna relazione tra gli errori per individui diversi:

24. OPLA’! Media aritmetica! , cioè la “raccolta” degli S², è svanito!

25. Va sempre tutto così liscio????? Mica tanto… Immaginiamo che le 3 misure derivino da 3 campioni casuali semplici, come sappiamo l’errore è direttamente proporzionale alla variabilità (per ora supponiamo uguale per tutti) delle singole misure e inversamente proporzionale alla numerosità del campione: (naturalmente se i tre campioni hanno numerosità uguale, siamo nel caso di prima), ma se così non è……….

26. OPPPSS! Media “PONDERATA”! , non scompare del tutto

27. Adesso abbiamo imparato il trucco: Cosa succede se gli errori sono diversi?

28. UHMMM! Una Media “PONDERATA” Strana ! , non scompare proprio per niente!!!!!

29. E se c’è correlazione? Dipende… a volte niente A volte molto (notate la semplificazione S=1) Ogni y viene moltiplicato per il numero di correlazioni  0, 4 è il numero totale di r  0, 3 è il numero di individui……. UHMM le cose si complicano.......

30. n individui su cui sono misurate Y (nx1) = 1 variabile dipendente X (nxk)=K esplicative Il modello che descrive il comportamento dell’individuo: E del collettivo: Cerchiamo una stima b per 

32. Distinguiamo il modello “vero” dalla stima:

33. Per stimare  dobbiamo fissare un criterio: Questo implica una ipotesi sul rango della X che deve essere = k Cioè le esplicative non possono essere tra loro dipendenti

34. Consideriamo un modello semplice: i=1,…,5 n=5 individui

35. Alcune implicazioni: Ma la prima colonna di X è una colonna di 1, moltiplicata per e diventa la somma dei residui, quindi:

36. B è una stima che proprietà ha?: Questo implica X non stocastiche e omoschedasticità

37. Riassumendo: ipotesi per OLS • Modello lineare • X e Y sono frutto di osservazioni indipendenti • X è di rango pieno • I residui hanno media = 0 • I residui sono omoschedastici • X e non-stocastica • (non indispensabile) i residui hanno distribuzione normale

38. Un esempio:

39. Attenzione al denominatore

41. Consideriamo la seconda riga:

42. Sistemiamo la prima riga della matrice

43. un modello molto(!) semplice (2 osservazioni)

44. OLS Caso particolare di un algoritmo più generale (vedremo in seguito) Matrice Varianza/covarianza degli  ESEMPIO DI CALCOLO