Proses Stokastik

1. Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc

2. The Long Run Behaviour of Markov Chains • Menganalisis peluang transisi n langkah dari rantai markov untuk n→ ∞: • The Limiting Probability Distribution • Tidak tergantung pada state awal • Peluang transisi n langkah tersebut ada jika rantai markov mempunyai matriks peluang yang bersifat regular • Semua elemen Pk>0 Apapun state awalnya (initial state)rantai markov akan berakhir di state jdengan peluangπj

3. Contoh: Rantai Markov dua State

4. Pdengan beberapa pangkat: π1 π0

5. Syarat Keberadaan the Limiting probability • Rantai markov mempunya matriks peluang transisi yang bersifat regular • Matriks peluang transisi bersifat regular jika: • Setiap pasang state i,j, terdapat jalur k1, k2, …, krdi mana Pik1 P k1k2... Pkrj>0 • Terdapat paling sedikit satu idi mana Pii>0

6. The Limiting Probability Distribution • JikaP matriks peluang transisi yang bersifat regular di mana terdapat 0, 1, 2, …, N, kemungkinan state, maka: • The limiting probability distribution =(0, 1, 2, …,N) adalah solusi unik dari persamaan:  = P

7. Contoh • Untuk rantai markov dengan matriks peluang transisi berikut ini: • Tentukanthe limiting probability distribution. • Sistem persamaan:

8. Karena adanya batasan linier, maka satu persamaan bersifat redundan dan akan dibuang dari sistem persamaan • Pada kasus ini persamaan 3 yang dibuang

9. Dengan substitusi dan eliminasi, solusinya adalah:

10. Berdasarkan definisi dari the limiting probability: • Dengan mengoperasikan pangkat tinggi pada matriks peluang transisi: π1 π2 π0

11. Klasifikasi State-State Definisi: State jdapat dijangkau (reachable) dari state ijika peluang untuk menuju dari i ke jdalam n >0langkah adalah positif (Jika teradapat jalur dari i ke j pada diagram rantai markov). Himpunan bagian S dari himpunan state X bersifat tertutup (closed) jika pij=0untuk setiap iS and j S Statei dikatakan absorbing jika terdapat closed set dengan satu anggota (state) saja. Himpunan tertutup (closed set) S dikatakan irreducible jika sembarang state jSdapat dijangkau dari setiap state iS. Rantai markov dikatakan irreducible jika himpunan state-nya X adalah irreducible.

12. p01 p12 p22 p00 p21 p10 p01 p12 p23 0 1 2 3 p32 p10 p00 p14 0 1 2 p22 p33 4 Contoh • Irreducible Markov Chain • Reducible Markov Chain Absorbing State Closed irreducible set

13. Transient and Recurrent States • Hitting Time • Recurrence TimeTiiadalah waktu yang dibutuhkan untuk state i kembali ke state i untuk pertama kalinya • Diberikan ρi sebagai peluang bahwa state akan kembali ke idengan syarat rantai markov berawal di state i, maka, • State irecurrentjia ρi=1dan transientjikaρi<1 • State ibersifat transient jika terdapat peluang bahwa rantai markov tidak akan kembali ke state i.

14. Teorema-teorema • Jika rantai markov mempunyai himpunan state yang finite, maka paling sedikit satu dari state-nya bersifat recurrent. • Jika i adalah state yang bersifat recurrent dan statej dapat dijangkau dari state i maka state j juga recurrent. • Jika S adalah himpunan state yang irreducible yang finite dan closed, maka setiap state di S adalah recurrent.

15. Positive and Null Recurrent States Diberikan Misebagai rata-rata waktu recurrence bagi state i State i dikatakan positive recurrentjika Mi<∞. Jika Mi=∞maka state tersebut dikatakan null-recurrent.

16. Example p01 p12 p23 0 1 2 3 Positive Recurrent States Transient States p32 p10 p00 p14 p22 p33 4 Recurrent State

17. Klasifikasi State-State j recurrent transient positive null absorbing non-absorbing

18. State Periodic dan Aperiodic Misalkan bahwa struktur rantai markov adalah sedemikian sehingga terdapat beberapa jalur dari state ikembali ke state i, di mana jumlah langkah dari setiap jalur adalah kelipatan bilangan bulat d>1  state i disebut periodicdengan periode d. Jika tidak terdapat bilangan bulat sedemikian (d=1) maka state tersebut bersifat aperiodic. Contoh: 1 0.5 0 1 2 1 0.5 Periodic State d = 2