310 likes | 459 Views
Pembentukan model rlb. Kuliah ke 8 anareg Dosen : usman bustaman. Model building algoritm. Data collection & preparation: experimental or not control experiment control experiment with covariates confirmatory observational studies explanatory observational studies
E N D
Pembentukan model rlb Kuliahke 8 anareg Dosen: usmanbustaman
Model building algoritm • Data collection & preparation: experimental or not • control experiment • control experiment with covariates • confirmatory observational studies • explanatory observational studies • (explanatory) Variable selection • Model refinement/selection • Model validation • Focus padakuliah 8: • (explanatory) Variable selection
Model building A B
A B Model building
(explanatory) Variable selection • Memilihvariabelbebas yang cukupmenjelaskan/memprediksivariabeltakbebas, sehingga • Kontribusivariabelbebas lain (yang tidakmasukdalam model) dapatdiabaikan. • Pertimbangan: • Menjelaskan (explanatory) vsMemprediksi (prediction) • Pertimbanganteoritisvspertimbanganstatistik • Omitting variable bias vs parsimony • best subset (explanatory) variables
Sebelumitu… • Cek dependent/ndependentvariabel transformasiatautdk? • - histogram, normality plot • Cekhubunganantarvariabel • - pearson correlation • - scatter plot matrix
How to get the best subset… • All possible regression • Forward selection • Backward elimination • Stepwise regression
How to…. All possible regression • • MSE(p) • Cp • Netter, ch. 12, p. 423
How to… w/ • p = jumlah parameter = 1,2,3,…,P • SSRp = Sum square regression w/ p parameter (incl. β0) • SSEp = Sum square error w/ p parameter (incl. β0) • SSTO = Sum square total • Goal: to find the point where adding more X variables is not worthwhile because it leads to a very small increase in R2.
How to… w/ MSE(p) • sangatdipengaruhioleh p p akanikut • use adjusted by df ( ) • only depent on MSE use MSE(p) • Subset X ygmeminimumkan MSE(p) ataumendekati minimum sdmkshgpenambahanvariabel “takberguna”
How to … w/ Cp • Estimator • If bias = 0 Random error Bias Total MSE(p) Buktikan !
How to … w/ Cp • JikadiplotCpvs p: • model dgn bias kecilakanberadasekitargarisCp = p • model yang bias akanberada di atasgarisCp = p • So best subset is: • MemilikinilaiCpkecil MSE kecil, atau • Bernilaisekitar p bias kecil BgmkalauCpkeciltapi bias ?
Kendala …. • All possible regression mengandung 2(p-1) model yang harusditeliti,…. Jika p-1 = 10 ada 1024 model yang harusditeliti… • gunakankomputer (buatalgoritma) • pilih 5 atau 3 model terbaik • sometimes inefficient
Stepwise regression • Proseduruntukmemilih best subset regression • Manual? …. Janganbuatsusahhidupygsudahsusah • GunakanKomputer ! • Steps: • 1. mulaidengan all possible RLS, hitung F*k • F*kdengannilaiterbesardan > nilaitttmasuksebagaikandidat ≈ Forward selection
Stepwise regression • 2. misal X4 terpilihpada step 1, makalakukan all possible RLB dgn 2 variabel, laluhitungF*k • F*kdengannilaiterbesardan > nilaitttmasuksebagaikandidat • 3. pertimbangkanadakahdarivariabel X dari model pada step sebelumnyaada yang perludi”buang” dari model, dengankriteriaF*k bernilai paling kecildan < nilaittt ≈backward elimination • 4. ulangi step 2 dan 3 hinggatakadalagivariabel yang “layak” untukmasukdalam model best model