Modeli diskretne zavisne promenljive (Ekonometrija D-1)

1. Modeli diskretne zavisne promenljive (Ekonometrija D-1) Doktorske studije – prva godina Predavač: Aleksandra Nojković April 2011

2. Preporučena literatura za modele specifične zavisne promenljive • Literatura preglednog sadržaja: Amemiya(1981), McFadden (1984) and Greene (2008). na srpskom jeziku:Nojković, A. Modeli diskretne zavisne promenljive: pregled metodologije i primenjenih istraživanja, Ekonomski anali br.172, Ekonomski fakultet, Beograd, 2007, 55-92. • Preporučena udžbenička literatura iz ove oblasti: Maddala (1983), Amemiya (1985), Wooldridge (2002) and Greene (2008). http://pages.stern.nyu.edu/~wgreene/DiscreteChoice/Readings/Greene-Chapter-23.pdf

3. Modeli diskretnog izbora • Deo su šire klase modela u kojima je zavisna promenljiva specifična/pod nekim vidom ograničenja (eng. limited dependent variable (LDV) models). • Modeli diskretnog izbora su modeli u kojima zavisna promenljiva uzima dva ili više modaliteta, a još ih nazivamo i modelima kvalitativnog odgovora/ishoda (eng. discrete choice or qualitative response (QR) models). • Osnovne klase modela: modeli binarnog i modeli višestrukog izbora (eng. binominal and multinomial models) • Modeli višestrukog izbora mogu biti nepoređanog ili poređanog izbora, kao i modele brojivih podataka (eng. count data -zavisna promenljiva uzima cele, nenegativne vrednosti).

4. Priroda podataka u modelima diskretnog izbora • Modeli razvijeni za analizu mikropodataka (jedinice posmatranja su preduzeća, domaćinstva ili preduzeća). • Mikoropodaci: - uporedni (podaci strukture) • podaci panela (kombinacija podataka uporednih podatak i vremenskih serija, pri čemu se veliki broj jedinica posmatranja (veliko N), posmatra u svega dve ili tri vremenske tačke (malo T)). • Primena u makroekonometrijskoj analizi novijeg datuma (makroekonomske vremenske serije i paneli sa većom T dimenzijom).

5. Primena modela diskretnog izbora • Za modeliranje brojivih podataka u kojima preovlađuje broj ishoda nula, a zavisna promenljiva uzima diskretne vrednosti. Broj nedozvoljenih minusa koje je vlasnik kreditne kartice ostvario u određenom periodu, broj poseta lekaru, broj avionskih/pomorskih nesreća i slično: y = 0,1,2, …. • Modeliranje binarnog izbora Odluka pojedinaca o učešću u radnoj snazi ili članstvu u sindikatu: yuzima vrednost 1 ako je pojedinac zaposlen (član sindikata), a 0 u suprotnom slučaju. • Brojni drugi primeri izbora između dve alternative. Šta opredeljuje pojedinca da kupi automobili, nastavi školovanje ili prestane da puši? Koji faktori utiču na odluku banke da odobri stambeni kredit?

6. Primena modela diskretnog izbora (nastavak) • Izbor između poređanih alternativa Stav pojedinaca u istraživanjima javnog mnjenja (npr. 0 – neslaganje u potpunosti do 4 – slaganja u potpunosti). Istraživanje zaposlenosti (pojedinac može biti nezaposlen, zaposlen sa nepunim ili punim radnim vremenom). Kreditni rejting, nivo obrazovanja ili preferencije potrošača su primeri poređanih alternativa (rang dodeljen zavisnoj promenljivoj je ordinalnog karaktera).

7. Primena modela diskretnog izbora (nastavak) • Izbor između nepoređanih alternativa Izbor zanimanja (npr. 1-nekvalifikovan radnik do 5- stručnjak). Izbor načina plaćanja (gotovina ili različite vrste platnih kartica). Izbor prevoznog sredstava (npr. 1-automobil, 2-autobus, a 3-voz). • Ovde vrednosti zavisne promenljive ne predstavljaju ni brojive podatke ni dodeljene rangove.

8. Mogućnosti primene u makroekonometrijskoj analizi • Empirijska primena ove metodologije u podacima vremenskih serija: • Modeliranje odluke cenralnih banaka SAD i Kanade o promeni instrumenata monetarne politike (Hu i Phillips (2004a,2004b)). • Empirijska primena ove metodologije u podacima panela: • Izbor politike deviznog kursa (Markiewicz (2006a,2006b), Jin (2004, 2005, 2009). • Determinante pojave inflacionih epizoda ili valutnih kriza (Boschen i Weise (2003), Domac i Yucel (2005)). • Uspeh reformi za okončanje hiperinflatornih epizoda (Bernholz i Kugler (2006)).

9. Modeli binarnog izbora • Analiziramo model kojim se opisuje odluka banke da prihvati ili odbije zahtev za odobravanje stambenog kredita (y=1 ako je zahtev odbijen, a 0 u drugom slučaju). • Linearni model verovatnoće, LMV (eng. Linear probability model(LPM)) je specijalan slučaj višestrukog linearnog regresionog modela sa 0/1 zavisnom promenljivom: yi = β’xi +εi , pri čemu je x vektor objašnjavajućih promenljivih, dok je β vektor nepoznatih parametara kojima se opisuje uticaj na verovatnoću realizacije ishoda y=1 do koje dovodi promena objašnjavajućih promenljivih za jednu jedinicu.

10. Nedostaci LMV • Prisutna heteroskedastičnost (var (εi) = β’xi (1- β’xi). • Ne možemo ograničiti β’xi u intervalu 0-1. Ovi modeli često predviđaju nelogčine predviđene verovatnoće (negativne vrednosti i vrednosti veće od 1), kao i negativne varijanse.

11. Nelinearni modeli prilagođeni binarnoj zavisnoj promenljivoj • Potrebno je obezbediti da se ocenjena verovatnoća nađe unutar intervala 0-1, što je prikazano isprekidanom linijom.

12. Probit i logit modeli • Odgovarajuće funkcije raspodele koje se najčešće koriste su: normalna funkcija raspodele (eng. cumulative normal function) ilogistička funkcija raspodele(eng. logisticfunction). • Pored toga što ovi modeli obezbeđuju da se predviđene verovatnoće nađu u intervalu0-1, uticaj jedinične promene objašnjavajuće promenljive na verovatnoću pozitivnog ishoda nije linearan, već zavisi od stepena strmosti funkcije raspodele za date vrednosti x (verovatnoća se približava nuli, kao i jedinici po sve sporijoj stopi).

13. Primer 1: Primenanapodacima o odobravnju kredita za kupovinu kuće • Izvor: J. Stock and M. Watson, Introduction to Econometrics, Addison Wesley, Pearson International Edition, 2003. • HMDA data (Home Mortgage Disclosure Act) supodaci koji se odnose na zahteve za odobravanje hipoteka/kredita podnetih u oblasti Bostona tokom 1990 godine. • 28% prijava koje su podneli crni ispitaici je odbijeno, dok je to slučaj sa samo 9% prijava podnetih od strane belaca. Dokaz rasne diskriminacije?

14. Primer 1: Primenanapodacima o odobravnju kredita za kupovinu kuće (nastavak) • Zavisna promenljiva: odbijen zahtev za kredit (deny =1) ili odobren (deny =0). • Objašnjavajuće promenljive: • P/I rat – količnik rate kredita i prihoda pojedinca (numerička promenljiva). • Black = 1, za ispitanike koji nicu belci, Black=0, u suprotnom slučaju (veštačka promenljiva). • Consumer credit score (ccred)– uzima vrednosti od 1 (nije bilo kašnjenja u plaćanjima) do 6 (kašnjenje preko 90 dana), (kategorijska promenljiva, K=6 kategorija).

15. Ocena različitih modela binarnog izbora • LMV: Pr ( Y=1| X1, X2, …, Xk) = β0 + β1X1 + β2X2 +…+ βkXk. • Logit model: Pr ( Y=1| X) = Λ(β0 + β1X1 + β2X2 +…+ βkXk)= • Probit model: Pr ( Y=1| X) = Φ(β0 + β1X1 + β2X2 +…+ βkXk).

16. Ocena LMV na HMDA podacima

17. Reziduali iz LMV

20. Ocena LOGIT modela

21. Ocena PROBIT modela

22. Nelinearni modeli (nastavak) • Model uslovne verovatnoće definisan je kao: E [y | x] = 0 [1- F (β’x)] + 1 [ F (β’x)] = F (β’x). • Opredeljenje za ma koju funkciju raspodele verovatnoće ne obezbeđuje da ocenjeni parametri modela predstavljaju marginalne efekte koje interpretiramo na način uobičajen za linearne modele. Marginalni efekti se u opštem slučaju izračunavaju kao: gde jeƒ(.) funkcija gustine koja odgovara funkciji raspodele F(.).

23. Izračunavanje marginalnih efekata • Za slučaj normalne funkcije raspodele marginalni efekti se izračunavaju kao: [Φ (β’x) β ], dok je za slučaj logit modela: [Λ(β’x) (1- Λ(β’x)) β]. • Znak koeficijenta zaista odgovara smeru promene verovatnoće. • Uobičajeno je da se marginalni efekti izračunavaju za vrednosti aritmetičkih sredina vektora x (i vrednost 0 veštačkih objašnjavajućihpromenljivih) ili pak za neku drugu vrednost x od interesa. • Marginalni efekat se može dobiti i kao aritmetička sredina marginalnih efekata izračunatih za vrednosti svake pojedinačne opservacije u uzorku.

24. Izračunati marginalni efekti PROBIT modela

25. Marginalni efekti rase prema promenljivoj PI_rat

26. Poređenje ocenjenih modela verovatnoće

27. Nelinearni modeli (alternativni pristup) • Pomoću modela indeksne funkcije (eng.index function models). • Uvodimo u model latentnu promenljivu yi*i definišemo model: yi* = β’xi + εi , pri čemu promenljivu yi*ne opažamo u praksi. • Ono što opažamo je veštačka promenljiva (eng. indicator variable) ydefinisana kao: yi = 1 za yi* > 0 = 0 zayi* ≤ 0. • Verovatnoća da je y = 1 je : E [yi* | x] = Pr [yi =1 | x] Pr (Yi = 1) = Prob (εi> - β’xi) = 1 – F (-β’xi); Prob =1-F(-index), gde je F funkcija raspodele verovatnoće greške ε.

28. Logit i probit model • Ukoliko pretpostavimo logističku funkciju raspodele za slučajnu grešku εi , dolazimo do specifikacije logit modela: Prob (Y = 1) = eβ’x / (1+ eβ'x) = Λ (β’x), pri je Λ (.)oznaka logističke funkcije raspodle. • U probit modelu (još se naziva i normit model) pretpostavljamo normalnu standardizovanu funkciju raspodle slučajne greške (εi : N (0,1)) iz čeka sledi: gde jeΦ (.) uobičajena notacija za standardizovanu normalnu raspodelu.

29. Logit ili Probit model? • Logit model jednostavniji za ocenjivanjem, a rešavanjem po β’xdaje sledeću relaciju: gde jePiverovatnoća realizacije pozitivnog ishoda, y=1, dok je(1-Pi)verovatnoća realizacije suprotnog događaja, y=0. Količnik [Pi/ (1-Pi)] je poznat “odds ratio” (odnos verovatnoća prvog i drugog izbora). Prirodni logaritam odnosa ovih verovatnoća je: ln [ P/ (1-P)] = β’x. • Dve raspodele su veoma bliske, osim na krajevima, gde logistička funkcija raspodele ima “teže” repove (logistička raspodela je zapravo bliža t raspodeli sa sedam stepeni slobode).

30. Funkcije raspodele logit i probit modela

31. Poređenje LMV, probit i logit modela • Logistička raspodela - varijansaπ2/3, tako da se ocene βdobijene iz logit modela moraju pomnožiti sa 31/2/ πda bi se uporedile sa ocenama probit modela. • Amemiya (1981) je predložio sledeću vezu: βprobit≈ 0.625 βlogit ocene iz logit modela se množe sa 1/1.6 (umesto 31/2/ π ). • Takođe predložene su i sledeće relacije: βLPM≈0.25 βlogit (osim za konstantu) βLPM≈ 0.25 βlogit + 0.5 (za konstantu).

32. Ocenjivanje modela binarnog izbora • Sa izuzetkom LMV, modeli binarnog izbora se ocenjuju metodom maksimalne verodostojnosti (MV). • Jednačine verodostojnostilogit i probit modela su nelinearne po β, što zahteva primenu nekog od poznatih iterativnih metoda optimizacije. • Najčešće se primenjuje Newton-Raphson-ovmetod. • Asimtotske ocene kovarijante matrice ocena MV moguće je izračunati na više načina.

33. Ocenjivanje i zaključivanje u nelinearnim modelima binarnog izbora • Polazimo od sledećeg logaritma funkcije verodostojnosti: • Uslov maksimizacije definisan je kao: pri čemu je jednačina verodostojnosti Sn(β) poznata i kao funkcija ostvarenih pogodaka (eng. score function). • Za oba modela jednostavno pokazuje da je ispunjen uslov globalne konkavnosti (Hessian-ova matrica je uvek negativno definitna: Hn(β) =∂2log Ln (β) / ∂β ∂β’ <0).

34. Izračunavanje asimp.ocena kovarijantne matrice ocena MV • Kao negativna inverzna Hessian-ova matrica za ocene MV: 2. The Berndt, Hall, Hall, and Hausman (BHHH) ocene: gdeje giizračunato na bazi prvih izvoda logit i probit modela. 3. Ocena zasnovana na očekivanoj vrednosti Hessian-ove matrice: H = E (H).

35. Zaključivanje u modelima binarnog izbora • Ocene MV su konzistentne i poseduju asimptotski normalnu raspodelu • Testiranje hipoteza: • Za testiranje ograničenja na pojedinačne parametre modela koriste se kritične vrednosti normalne stand.raspodele(z), odnosno testiranje F-testom. • Testiranje složenijih hipoteza, kojima se zahteva da koeficijenti u ocenjenom modelu zadovoljavaju izvesna linearna ili nelinearna ograničenja, sprovodi se primenom sledećih, asimptotski međusobno ekvivalentnih testova: Wald-ovog, testa količnika verodostojnosti (LR test) i testa Lagrange-ovog multiplikatora.

36. Pokazatelji kvaliteta modela binarnog izbora • Uobičajeno je da se navodi: vrednost log. funkcije verodostojnosti, prosečna vrednost ovog logaritma, statistika količnika verodostojnosti (LR statistika) i njoj pridružena verovatnoća. • Pseudo – R2ili McFadden-ov indeks količnika verodostojnosti(McFadden’s likelihood ratio index), koji poredi vrednost logaritma funkcije verodostojnosti u ocenjenog modela (L) i modela u kome je prisutna samo konstanta (isključene su sve objašnjavajuće promenljive iz modela, L0): pseudo-R2 = LRI = 1 – (lnL / lnL0). • Vrednost ovog pokazatelja se kreće u intervalu od 0 do 1, podseća na koeficijent determinacije linearnih modela ali nema tako direktnu interpretaciju. • Koeficijent korelacije između stvarnih ishoda i modelom predviđenih verovatnoća.

37. Pokazatelji kvaliteta modela binarnog izbora (nastavak) • Procenat tačnih predviđanja modela (Expectation-Prediction Evaluation), koji je prestavljen tabelom pogodaka i promašaja dimenzija 2x2 u slučaju binarnog modela, a kao pravilo predviđanja koristi se: y = 1 if F > F*iy = 1za ostalo. • Najčešće se kao granica predviđanja koristi F* = 0.5 (u tom slučaju model predviđa ishod 1 ako je verovatnoća realizavije ovog ishoda veća). • Problem ovog pokazatelja uočljiv je u nebalansiranim uzorcima (mali broj ishoda 1 u uzorku).

38. Primer 2. Učešće žena na tržištu rada u Srbiji • 2002 ARS, 1528 zaposlenih žena od ukupno 4376 žena uzrasta od 18 do 65 godina u uzorku. • Zavisna promenljiva Y je binarna, uzima vrednosti 1/0 za odgovore žena da/ne, na pitanje da li su zaposlene ili ne (has job =1 ili 0). • Objašnjavajuće promenljive : age = godine starosti m_stat1 = bračni status;binarna promenljiva, uzima vrednost 1 za neudate žene, a 0 u suprotnom slučaju educ =godine školovanja žene, ili sc1 = završena osnovna škola sc2 = završena srednja škola sc3 = završena viša škola sc4 = završen fakultet ili više (magistri i doktori nauka).

39. Has job dF/dx st.dev. z P>|z| age 0.1157 0.00461 23.270 0.000 age2 -0.0014 0.00006 -22.880 0.000 m_stat1 0.0579 0.01912 3.070 0.002 educ 0.0820 0.00314 25.000 0.000 Predviđeno Y = 0 Y = 1 Total 2434 414 2848 Y = 0 85.46% 14.54% 100% Stvarno 457 1071 1528 29.91% 70.09% 100% Y = 1 2891 1485 4376 66.06% 33.94% 100% Total Rezultati ocenjivana ponude ženske radne snage (I varijanta probit modela)

40. Has job dF/dx st. dev. z P>|z| age 0.1170 0.0047 23.110 0.000 age2 -0.0139 0.0001 -22.670 0.000 m_stat1 0.0579 0.0192 3.050 0.002 school1 0.2077 0.0446 4.770 0.000 school2 0.5144 0.0313 13.610 0.000 school3 0.6928 0.0255 13.710 0.000 school4 0.7478 0.0173 16.360 0.000 Predviđeno Total Y = 0 Y = 1 2430 418 2848 Y = 0 85.32% 14.68% 100% Stvarno 455 1073 1528 29.78% 70.22% 100% Y = 1 2885 1491 4376 65.93% 34.07% 100% Total Rezultati ocenjivana ponude ženske radne snage (II varijanta probit modela)

41. Logit i probit modeli poređanog izbora • Primeri izbora između poređanih alternativa: • Ocena kreditne sposobnosti • Istraživanja javnog mnjenja i marketinška istraživanja • Istraživanje zaposlenosti (sa punim radnim vremenom, pola radnog vremena ili nezaposlen) • Izbor različitih nivoa osiguranja • Izbor programa medicinske zaštite • Interesantna primena: Bernholz i Kugler (2006) koji analiziraju uspešnosti mera preduzetih sa ciljem zaustavljanja više od 30 hiperinflacija u svetu. • Dodeljen rang za npr. kreditnu sposobnost na skali od 0 do 6, ima ordinalni karakter, odnosno razlika između ranga 2 i 3 ne mora biti istog značaja kao razlika između ranga 4 i 3.

42. Specifikacija modela poređanog izbora • Polazimo od regresionog modela latentne zavisne promenljive yi* : yi* = β΄xi + εi. • U praksi se opaža jeste promenljiva yi koja se definiše na sledeći način: yi=0 ako yi* ≤ 0 =1 ako 0< yi* ≤ μ1 =2 akoμ1< yi* ≤ μ2 ... = J akoμJ−1 ≤ yi*, μ1 < … < μJ-1 < μJ • Nepoznati parametri μj(j = 1, 2,…, J) se nazivaju tačke odsecanja (eng.cut points) ili parametri praga(eng.thresholdparametars) i ocenjuju se zajedno sa vektorom β.

43. Probit model poređanog izbora • Za normalnu standardizovanu raspodelu slućajne greške εi, funkcija verovatnoće j-tog izbora se definiše kao: Prob (yi= 0) = Φ (μ1 – β’x), Prob (yi = 1) = Φ (μ2 – β’x) – Φ (μ1 – β’x) ... Prob (yi = J-1) = Φ (μJ– β’x) – Φ (μJ-1 –β’x), Prob (yi = J) = 1-Φ (μJ–β’x), gde je Φ (.) oznaka za normalnu standardizovanu raspodelu, a ф(.) za odgovarajuću funkciju gustine.

44. Funkcija gustine probit modela poređanih alternativa (npr. J=4)

45. Marginalni efekti u modelu poređanog izbora • Marginalni efekat promene xk na verovatnoću ostvarenja j-tog ishoda probit modela definisan je kao: gde je ф(.) odgovarajuća funkcija gustine normalne raspodele. • Verovarnoća Prob(y = 0) se menja u smeru suprotnom znaku izračunatog koeficijenta, dok se verovatnoća Prob(y = J) menja usmeru koji odgovara znaku koeficijenta.

46. Efekat promene x na predviđene verovatnoćeu modelu poređanih alternativa(na primeru tri ishoda (0,1, i 2) i pozitivne ocene )

47. Primer3. Izbor penzionog plana • Izvor: Wooldridge (2002) - Asset allocation in pension plans. • Analizirna je razlika u izboru penzionog plana ukoliko je pojedinac u mogućnosti da utiče na taj izbor. Korisceni su podaci Papke(1998) gde su odgovori kodirani kao ”pretežno obveznice”, “mešavina/kombinacija” i “pretežno akcije” (“mostly bonds”, “mixed” and “mostly stocks”) kao 0, 50 i 100. • Objašnjavajuća promenljiva u modelu je: choice = binarna promenljiva, uzima vrednost 1 ako je pojedinac sam odabrao strukturu sopstvenog penzionog plana, 0 u suprotnom slučaju. • Ostale objašnjavajuće promenljive su: nivo obrazovanja, pol, rasa, bračni status, prihodi domačinstva (uvedeni kroz set veštačkih promenljivih), bogatstvo i veštačka promenljiva za pojedince koji imaju zajednički penzioni plan.

48. Rezultati ocenjivanja (nastavak primera 3) • ONK: βchoice = 12,05 (12 % više onig koji biraju akcije). • Probit: βchoice = 0,371 (veličina koeficijenta nema dir. interpretaciju, ali znak i statistička značajnost potvrđuju nalaz linearnog modela). • Veličina uticaja (marginalni efekat) se mogu oceniti kao:E (y | x) pri čemu je choice =1 ili choice=0. • Kao ilustarciju koristiti: osobu staru 60 godina, sa 13,5 godina obrazovanja, samca, muškarca, belu osobu, sa godišnjim prihodima 50-75000$ i bogatstvom u 1989. god. od 200000 $. • Za razliku u mogućnosti izbora (choice je 1 ili 0) ocenjene verovatnoće su 50,4 i 36,6 tako da je razlika u verovatnoći 12,8%. • Ukupan broj tačnih pogodaka modela je 44,3%.