Outlier P ada Analisis Regresi

1. Outlier PadaAnalisisRegresi By EniSumarminingsih, SSi, MM

2. Pendahuluan TujuandariAnalisisRegresiadalahmengepaspersamaanpadapeubah yang terobservasi Model regresi linier klasikmengasumsikanhubunganberikut : Dimana n adalahukurancontoh Variabel xi1, …, xipadalahvariabelpenjelasdanyiadalahvariabelrespon

3. Padatheoriklasikdiasumsikaneroreimenyebar normal dengan rata – rata noldanragam2 Jadidengananalisisregresikitamenduga parameter Dari data

4. Denganmenggunakanmetodependugaregresipada data tersebutdidapatkan Dimanaadalahkoefisienregresi adalahnilaiduga y yang didapatdaripersamaanberikut

5. Residual ridariamatanke I adalahselisihantara y observasidan y dugaan MetodeKuadratTerkecil (MKT) atau Ordinary Least Square (OLS) adalahmetode paling populeruntukmenduga parameter model regresi

6. Idedasarmetode OLS adalahmencarinilaidugaparamete yang meminimumkanJumlahKuadratGalat

7. Efek Outlier padaRegresi Linier Sederhana Model Regresi Linier Sederhana Misalkitamemiliki 5 observasi (x1,y1),…, (x5,y5) yang jikadiplotkanakantampaksepertiberikut : setiaptitiksangatdekatdengangarisregresi

9. Misalkanterdapatkesalahanpenulisan y4, makatitik (x4,y4) akanterletakjauhdarigarisidealnya. Titikinidinamakan outlier dalam y, danmempengaruhigaris LS

11. Outlier jugadapatterjadidalam X. Berikutadalah plot dari 5 titik (x1,y1), … (x5,y5) berikutgaris LS-nya

12. Misalkankitamembuatkesalahandalammencatat x1 sehinggamakakitadapatkangambarberikut

13. Titik (x1,y1) dinamakan outlier dalamarah x danefeknyapadapenduga LS sangatbesarkarenamerubahgaris LS. Titik (x1,y1) disebutleverage point

14. Perhatikanbahwa (xk,yk) dalamgambarberikutbukan leverage point. Mengapa?

15. Breakdown Point Misalkanterdapat sample dengan n titik data Dan misalkan T adalahpendugaregresisehingga Misalkan Z’ adalah sample yang didapatdari Z dimana m titikdalam Z digantidengantitik – titik yang sembarang(adakemungkinan outlier)

16. Notasikan bias(m; T, Z) adalah bias maksimum yang dapatdisebabkanolehkontaminasitersebut Jika bias (m;T, Z) infinite berarti m outlier dapatmemilikiefek yang besarpada T ataudapatdikatakanbahwa estimator “breaks down”

17. Breakdown point dari estimator T pada sample Z didefinisikansebagai Dengankata lain, break down point adalahproporsikontaminasiterkecil yang dapatmenyebabkan estimator T menghasilkan yang cukupjauhdari T(Z)

18. Breakdown point untuk MKT (OLS) adalah Karenatelahkitalihatbahwasatu outlier sudahdapatmerubahnilaikoefisienregresi Hal inimenunjukkanbahwa OLS sangatsensitifterhadap outlier

19. IdentifikasiPencilanpada Y Dalambeberapaanalisisregresiseringkaliditemukanadanyaamatanekstrem, yaitubernilaijauhdenganamatan yang lain dalamsampel Adanyaamatanekstremataupencilaninidapatmenyebabkan residual yang besardanseringkalimemilikiefek yang besarpadadugaanfungsiregresi yang menggunakan OLS sehinggapendugakoefisienregresimenjadi bias danatautidakkonsisten

20. Pencilanharusditelitidenganhati – hatiapakahsebaiknyaamataninidipertahankanataudihilangkan. Jikadipertahankan, efekpencilaniniharusdikurangi

21. Suatuamatandapatmenjadipencilanpada Y ataupada X ataupadakeduanya

22. PendeteksianOutlier Untukpendeteksianpencilan , diperlukansuatumatriks yang dinamakan hat matrix yang dilambangkandenganH

23. Penduga Y dapatditulissebagai Dengan

24. Elemen diagonal darimatriksHmemberikaninformasitentang data observasi yang mempunyainilaileverage yang besar Elemen diagonal ke-idarimatriksH yang dilambangkandenganhiidiperolehdari:

25. Denganadalahvektorbaris yang berisinilai-nilaidarivariabelbebasatauindependendalampengamatanke-i. Padaelemen diagonal matriksH, diperoleh dimana p adalahbanyaknyapeubahdalam model

26. Pendeteksianpencilanpada X Jikanilailebihbesardari 2(p+1)/n makapengamatanke-idikatakansebagaioutlier pada X (leverage point).

27. PendeteksianPencilanpada Y Hipotesis yang digunakanuntukmengujiadalah: H0 : Pengamatanke-ibukanoutlier H1 : Pengamatanke-imerupakanoutlier Statistikujiyang dapatdigunakanuntukmengujiadalahstudentized residual ataustudentized deleted residual yang didefinisikan:

28. PendeteksianPencilanpada Y Kriteria yang digunakanuntukmengujiadatidaknyaoutlieradalah dimana p adalahbanyaknyavariabelbebasditambahsatu

29. PendeteksianPengamatanBerpengaruh Pengamatanberpengaruh • merupakanpengamatan yang berpengaruhbesardalampendugaankoefisienregresi • memilikinilaigalatatausisaan yang besarataumungkin pula tidak, tergantungpada model yang digunakan

30. Metodeuntukmendeteksipengamatanberpengaruh • Cook’s Distance Cook’s Distance merupakanjarakantarapendugaan parameter dengan MKT yang diperolehdari n pengamatanatauobservasiyaitudanpendugaan parameter yang diperolehdenganterlebihdahulumenghapuspengamatanatauobservasike-iyaitu

31. Jaraktersebutdapatdituliskansebagaiberikut: dengan

32. Hipotesisuntukmengujiadanyapengamatanberpengaruhadalahsebagaiberikut:Hipotesisuntukmengujiadanyapengamatanberpengaruhadalahsebagaiberikut: H0 : Pengamatanke-itidakberpengaruh H1 : Pengamatanke-iberpengaruh kriteria yang digunakanuntukmengujihipotesistersebutadalahsebagaiberikut, alpha = 0.5:

33. 2. The Difference In Fits Statistic (DFITS) Hipotesisuntukmengujiadanyapengamatanberpengaruhadalahsebagaiberikut: H0 : Pengamatanke-itidakberpengaruh H1 : Pengamatanke-iberpengaruh merupakanpengaruhpengamatanatauobservasike-ipadanilaiduga yang didefinisikansebagai

34. Kriteria yang digunakanuntukmengujihipotesistersebutadalah

35. MetodeuntukPenangananPencilan • MetodeTheil Merupakanmetoderegresinonparametrik Tidakterpengaruhterhadapadanya data outlierataupencilan Asumsi: • Contoh yang diambilbersifatacakdankontinyu; • Regresibersifat linier; • Data diasumsikantidakberdistribusi normal.

36. Misalkanterdapat n pasanganpengamatan, (X1, Y1), (X2, Y2), …, (Xn, Yn), persamaanregresi linier sederhanaadalah: Theil (1950) dalamSprent (1991, hal 179-180) mengusulkanperkiraanslopegarisregresisebagai median slopedariseluruhpasangangarisdarititik-titikdengannilai X yang berbeda

37. Untuksatupasangan (Xi, Yi) dan (Xj, Yj) slope-nyaadalah untuki < j pendugadinotasikandengandinyatakansebagai median darinilai-nilaisehingga

38. Penduga M (M-Estimator) denganFungsi Huber PendugaM adalahsolusi (1) Dimana(.)adalahfungsikriteria yang dapatberubah-ubah

39. fungsikrtiteria(.)mempunyaibeberapasifatsebagaiberikut:

40. UntukmendapatkanpendugakoefisienregresimakafungsikriteriaditurunkandandisamakandengannolUntukmendapatkanpendugakoefisienregresimakafungsikriteriaditurunkandandisamakandengannol DimanaadalahhasildiferensiasidarifungsikriteriadanXijadalahobservasike-ipadaregressorke-j

41. Bentukumumdaripersamaan (1) adalah Dan bentukumumpersamaan (2) adalah

42. Fungsikriteria Huber yang didefinisikansebagaiberikut :

43. Dan fungsipengaruhnyaadalah Dengan

44. Persamaankeduadapatdituliskan Dengan Jikamakapersamaan (2) menjadi

45. Untukfungsipengaruh Huber, diperlolehpembobotsebagaiberikut :

46. Langkah-langkahpenghitunganpenduga M: