1 / 19

Klasifikasi Berdasarkan Teorema Bayes

Klasifikasi Berdasarkan Teorema Bayes. Naïve Bayes Classifier. Pendahuluan. A statistical classifier : menyelesaikan prediksi probabilitas , sebagai contoh memprediksi peluang keanggotaan suatu class Foundation: Teorema Bayes Performance:

onawa
Download Presentation

Klasifikasi Berdasarkan Teorema Bayes

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. KlasifikasiBerdasarkanTeoremaBayes Naïve Bayes Classifier

  2. Pendahuluan • A statistical classifier: • menyelesaikanprediksiprobabilitas, sebagaicontohmemprediksipeluangkeanggotaansuatu class • Foundation: • TeoremaBayes • Performance: • pengklasifikasi Bayesian sederhana, memilikikinerja yang dapatdibandingkanpengklasifikasidecision treedanneural network

  3. DasarTeoremaBayes • Diketahui X merupakan sample data. • Dalambayes X disebut “evidence” ataufakta • Label class tidakdiketahui • Umumnya X merupakan record data yang disusundari n atribut • H merupakansuatu hypothesis bahwa X termasukdari class C • Classification adalahuntukmenentukan P(H|X), peluanghipotesisdari data sample X • Dengankata lain, dicaripeluangbahwa record X termasukkelas C, dengandiketahuiatribut yang menjelaskan X. • Atau, peluangkeluarnyahasil H jikadiketahuinilai X tertentu.

  4. Dasar Teorema Bayes (lanjutan) • P(H) (prior probability), peluangawal • Misal: X akanmembelikomputer, tanpamemperhatikanumur, penghasilan, … • P(X) (prior probabilitiy) peluangbahwa data sampel X diamatitanpamemperhatikannilai yang lain • P(X|H) (posteriori probability), peluangdiamatinya data sampel X denganmempertimbangkan H • Misal: Jika X akanmembelikomputer, peluang X adalahberumur 31..40, medium income

  5. Bayesian Theorem • Jikadiberikan data training X, posteriori probability darisuatu hypothesis H, P(H|X), mengikutiteoremaBayes • Dengankata lain, dapatditulissebagaiberikut: posteriori = likelihood x prior/evidence • Memperkirakan X termasukdalamkelasCijikapeluang P(Ci|X) merupakantertinggidiantarasemua P(Ck|X) untuksemuaklask • Permasalahannyata: diperlukanpengetahuanawaldaribanyakpeluang, halinidapatmerupakanbiayakomputasi yang mencolok

  6. Bayes Learning • Misalterdapatbeberapaalternatifhipotesa h -> h є H. • Bayes Learning: • Memaksimalkanhipotesis yang paling mungkin h, maksimumapriori (MAP)

  7. Naïve Bayesian Classifier • Di mana: • vNBadalahnilai output hasilklasifikasi naïve bayes

  8. Contoh Kasus Data Cuaca dan Keputusan Main (Cuaca= cerah, Temperatur=dingin, Kelembaban=tinggi, Angin=besar) yang tidakadadalamtabeltersebut

  9. Pembahasan • Dalamcontohtersebutada 14 titikdengankeluaranmainatautidak. • Setiap data ditandaidenganatributcuaca, temperatur, kelembabandanangin. • Akandipakainaïvebayesuntukmenentukankelasdari data berikut: • (Cuaca= cerah, Temperatur=dingin, Kelembaban=tinggi, Angin=besar) yang tidakadadalamtabeltersebut

  10. Pembahasan (lanjutan)

  11. Pembahasan (lanjutan) • Soal: (Cuaca= cerah, Temperatur=dingin, Kelembaban=tinggi, Angin=besar) yang tidakadadalamtabeltersebut • P(main) = 9/14 = 0.64 • P(tidak) = 5/14 = 0.36 • P(Angin=besar | main) = 3/9 = 0.33 • P(Angin=besar | tidak) = 3/5 = 0.60 • P(main) P(cerah|main) P(dingin|main) P(tinggi|main) P(besar|main) = 9/14*2/9*3/9*3/9 = 0.0053 • P(tidak) P(cerah|tidak) P(dingin|tidak) P(tinggi|tidak) P(besar|tidak) = 5/14*3/5*1/5*4/5*3/5 = 0.0206 • Dengan Naïve Bayesdisimpulkanuntuktidak main.

  12. EstimasiProbabilitas • Alasan: • Adakemungkinandihasilkan under-estimate probablilitas bias jika data yang diamatidalamjuml. kecilataubisajugadihasilkannolkarenasalahsatuprobabilitas = 0 • Rumus: • P(ai|vj) = nc+ m*p n + m dimana: n = jumlah data training dimana v=vj nC = jumlah data training dimana v=vjdan a= ai p = prior estimate untuk P(ai|vj) m = ukuransampelekuivalen

  13. Contoh

  14. Jikainginmengelompokkanmobilwarnamerah, asaldomestikdantipe SUV ??Makadidapatkannilai-nilaiestimasisbb: (misal m= 3)

  15. P(merah|ya) = 3+3*0.5 = 0.56 P(merah|tidak) = 2+3*0.5 = 0.43 5+3 5+3 • P(SUV|ya) = 1+3*0.5 = 0.31 P(SUV|tidak) = 3+3*0.5 = 0.56 5+3 5+3 • P(domestik|ya) = 2+3*0.5 P(domestik|tdk) = 3+3*0.5 5+3 5 +3 = 0.43 = 0.56 • Jikadiketahui: P(ya) = 0.5 dan P(tidak)=0.5, maka v=yabisadihitung P(ya)P(merah|ya)P(SUV|ya)P(domestik|ya) = 0.5*0.56*0.31*0.43 = 0.037 P(tidak)P(merah|tidak)P(SUV|tidak)P(domestik|tidak) = 0.5*0.43*0.56*0.56 = 0.069 Olehkarena 0.069> 0.037, makadisimpulkan data tersebutdikelompokkaan ‘tidak’.

  16. Klasifikasidengan data kontinyu • Contoh: • BerapakahP(MemilikiRumah=Tidak| Pendapatan=125K)

  17. Untuk data kontinyu • Keterangan: • Pmenyatakanpeluang • Ximenyatakanatributkei. • ximenyatakannilaiatributkei. • Ymenyatakankelas yang dicari. • yimenyatakan sub kelasY yang dicari. • µ menyatakanrata-rata dariseluruhatribut ( ) . • menyatakanvariandariseluruhatribut ( ).

  18. Makapeluangtidakmemilikirumahdenganpendapatan 125K sebesar:

  19. Tugas Kelompok (@ 4 orang) • Cari1kasus nyata seputar aplikasi klasifikasi (data 20 record minimum) untuk data latih & 5 data uji • Lakukan perbandingan 2 metode: KNN (weighted dan Unweighted votting) dengan Naive Bayes Classifier • Berapa nilai akurasi tertinggi, rata2 dan terendah • Data mix kontinyu & tidak kontinyu untuk setiap setiap fitur dalam satu data set yang terpisah • Tidak boleh sama kasus yang dipilih

More Related