Gradient Descent (Ascent)

1. Gradient Descent (Ascent) By EniSumarminingsih, SSi, MM

2. Gradient descent (ascent) adalah algoritma optimasi orde pertama. • Untuk menemukan minimum lokal dari fungsi menggunakan gradien descent, diambillangkah sebanding dengan negatif dari gradien (atau perkiraan gradien) dari fungsi pada titik sekarang. • Jika diambillangkah sebanding dengan gradien positif, makaakandidapatkanmaksimum lokal fungsi tersebut; prosedur ini kemudian dikenal sebagai gradientascent • Gradient descentjuga dikenal sebagai steepest descent, sedangkan gradient ascent dikenaldengan steepest ascent.

3. Algoritma (maksimisasi) • Mulaidarititikawal v0 • Bergerakdari v0ke v1denganarahf(v0) : v1 = v0 + t0f(v0) dengan t0adalahsolusidarimasalahoptimisasi berikut: max f(v0 + t0 f(v0) ) s.t t0 ≥ 0 • Langkah – langkahtersebutdiulangisampaididapatnilai vi dan vi+1 yang cukupdekat

4. Algoritma (minimisasi) • Mulaidarititikawal v0 • Bergerakdari v0ke v1denganarahf(v0) : v1 = v0- t0 f(v0) dengan t0adalahsolusidarimasalahoptimisasi berikut: min f(v0- t0 f(v0) ) s.t t0 ≥ 0 • Langkah – langkahtersebutdiulangisampaididapatnilai vi dan vi+1 yang cukupdekat

5. ilustrasi

6. Contohsoal Gunakan metode steepest ascent untukaproksimasisolusidari s.t Dengantitikawal v0 = (1,1) Jawab: f(x1, x2) = (– 2(x1 – 3), – 2(x2 – 2)) f(v0) = f(1,1) = (4,2) Pilih t0 yang memaksimumkan f(v0 + t0 f(v0) )  max f[(1,1)+t0(4,2)]  max f[1+4t0 , 1+2t0]

7. f ‘(t0)=0  - 2(-2+4t0)4 -2(-1+2t0)2 = 0 20 – 40 t0 = 0 t0= 0.5 v1 = [(1,1)+0.5(4,2)] = (3,2) Karenaf(3, 2) = (0,0) makaiterasidihentikan Karena f(x1, x2) adalahfungsikonkaf, maka (3,2) adalahsolusi yang dicari

8. Soal -soal • Gunakan metode gradient ascent untukmendugasolusi optimal dari mulaidarititikawal (2.5, 1.5) 2. Gunakanmetode gradient descent untukmendugasolusi optimal dari