120 likes | 370 Views
Metode Komputasi 3. Metode Gradient untuk masalah optimasi : Regresi linear dan non linear. Bila jumlah penduduk diasumsikan bertambah secara linear terhadap waktu ( tahun ), maka jumlah penduduk dapat diprediksi dengan menggunakan persamaan linear
E N D
MetodeKomputasi 3 Metode Gradient untukmasalahoptimasi: Regresi linear dan non linear
Bilajumlahpendudukdiasumsikanbertambahsecara linear terhadapwaktu (tahun), makajumlahpendudukdapatdiprediksidenganmenggunakanpersamaan linear Y = 1x + 0, x menyatakantahunsetelah tahun 2000 Jumlah Bagaimanamenaksir parameter 1dan0? tahun Definisi: Jarakvertikal Jarakvertikalantaragaris Y = 1x + 0ketitik Pi(xi, yi) Ji = |yi – (1xi + 0)| = |yi – 1xi –0| Garis Y = 1x + 0dipilihsehinggajumlahkuadratjarakvertikalterkecil
GarisJumlahKuadratTerkecil Gariskuadratterkecil Y = 1x + 0untukhimpunantitik (x1,y1), (x2,y2),…,(xn,yn) dapatdiperolehdarimasalahpeminimuman Bagaimanamenentukannilai1dan0yang memenuhimasalahoptimasi? Berdasarkankalkulus, syaratperlu agar J(1, 0) mencapai minimum Denganasumsi J fungsi yang terdifferensialkan Atau Maka, titikkritis
Contoh: Carilahgariskuadratterkeciluntukhimpunantitik(1,2),(3,2),(4,3)
Nonlinear Fitting Contoh: Data set: (1,2),(2,4),(3,9) Y=(2,4,9) Y = ln(2,4,9) XY = … dst Diberikansekumpulan data: (x1,y1),(x2,y2),…,(xn,yn) Jikahubunganantara Y dan X diasumsikan Y = eX lnY = ln +X Maka Y = lnY 0 = ln 1 =
Nonlinear Fitting Jikadiasumsikan Diberikansekumpulan data: (x1,y1),(x2,y2),…,(xn,yn) Jikahubunganantara Y dan X diasumsikan Y = x lnY = ln +lnX Maka Y = lnYX = lnX 0 = ln 1 =
Grad. Descent utk Reg. Linear ekivalendengan Berangkatdari (1(0), 0(0)) , arahpergerakan yang memberikanpenurunan paling besar : -J (1(0), 0(0)) Sehingga, iterasi (1(k+1), 0(k+1))=(1(k), 0(k)) -J (1(k), 0(k)) konvergenkenilai minimum ‘lokal’ dari J untuksuatunilai yang cukupkecil. Ulangiprosessampaikonvergen 1 = 1 +(yi- 1xi - 0)xi 0 = 0 +(yi- 1xi - 0)
Grad. Descent utk Reg. Linear(Perumuman) Berangkatdari arahpergerakan yang memberikanpenurunan paling besar : -J ((0)) Sehingga, iterasi (k+1) = (k) -J(k),konvergenkenilai minimum ‘lokal’ dari J untuksuatunilai yang cukupkecil. Ulangiprosessampaikonvergen k = k +(yi- Txi)xik, k=1,2,…,M Xi0 = 1 untuksemuai=1,2,…,N
Logistic Fitting Diberikansekumpulan data: (x1,y1),(x2,y2),…,(xn,yn) Jika Y bernilaibiner {0,1} dandiasumsikan dengan Z = 0 + 1X Makanilai0, 1diperoleh Gradien Descent: 1= 1-R/1 0= 0-R/0
Logistic Fitting (Generalization) Diberikansekumpulan data: (x1,y1),(x2,y2),…,(xn,yn) Jika Y bernilaibiner {0,1} dandiasumsikan dengan Z = TX Gradien Descent: k= k-R/k