Kuliah #5 Markov Processes

1. Kuliah #5Markov Processes Hendrawan hend@telecom.ee.itb.ac.id

2. Outline • Markov Processes • Discrete Time Markov Chain • Homogeneous, Irreducible, Transient/Recurrent, Periodic/Aperiodic • Ergodic • Stationary Probability • Transient Behavior • Birth-Death Process

3. Markov Processes • X(t) adalah suatu Markov Process jika memenuhi Markov (Memoryless) Property • X(t) hanya tergantung pd kondisi (state) saat ini • Sejarah masa lalu summarized pd kondisi (state) saat ini

4. Dari Markov Processes … • Discrete Time Markov Process: Perubahan state terjadi pd titik-titik integer • Continuous Time Markov Process: Perubahan state terjadi pd sembarang waktu

5. Dari Markov Processes … • Markov Chain: Discrete State Space Markov Process • Discrete Time Markov Chain: Perubahan state (discrete state) terjadi pd titik-titik integer • Continuous Time Markov Chain Perubahan state (discrete state) terjadi pd sembarang waktu

6. Discrete Time Markov Chains • Dp berada pd satu Discrete state (position) dan diizinkan utk berubah state pd Waktu discrete

7. Discrete Time Markov Chains

8. Discrete Time Markov Chains • Dari initial probability dan one-step transition probability, • Kita dp mencari probability of being in various states at time n

9. Homogeneous Markov Chain • Jika transition probabilities adalah independent thd n, maka disebut Homogeneous Markov Chain • Let pij ≡ P[Xn = j | Xn-1= i ] • Kita ada pd state i dan akan menuju pd state j pd langkah berikutnya • State transition prob. Hanya akan tergantung pd initial probability dan transition probability, tdk tergantung pd transition time

10. Homogeneous Markov Chain • m-step transition probabilities adalah:

11. Homogeneous Markov Chain

12. Irreducible Markov Chain • Suatu Markov Chain adalah irreducible jika setiap state dp dicapai dari setiap state lain dlm jumlah step yg terbatas/finite

13. Not Irreducible Markov Chain • Kasus 1 • Utk A = set semua states dlm suatu Markov chain • A1 ⊂ A • Jika tdk ada satu one-step transition dari state A1 ke A1c • A1 didefinisikan sbg “Closed”

14. Not Irreducible Markov Chain • Kasus 2 • Utk A = set semual states pd suatu Markov chain • A1 ⊂ A • Jika A1 terdiri dari satu atau lebih state Ei dimana begitu berada pd state Ei, proses tdk dp bergerak ke state-state lain • Ei disebut “Absorbing State” • pii = 1

15. Transient atau Recurrent States • fj(n) = P[proses pertama-tama kembali ke state j setelah meninggalkan state j pd n steps] • fj = P[proses kembali ke state j setelah meninggalkan state j] • Mj = Mean recurrence time dari state j

16. Transient atau Recurrent States • Jika fj < 1 • State Ej disebut “Transient State” • Jika fj = 1 • State Ej disebut “Recurrent State” • Jika Mj = ∞ • State Ej disebut “Recurrent Null State” • Jika Mj < ∞ • State Ej disebut “Recurrent Nonnull State”

17. Periodic atau Aperiodic • Mis β = integer • Jika step-step yg hanya mungkin proses kembali ke state Ei adalah β, 2β, 3β, … • Jika β > 1 dan β adalah integer terbesar • State Ei disebut “Periodic” • Recurrence time utk state Ej memp. period β • Jika β = 1 • State Ei disebut “Aperiodic”

18. Ergodicity • Ej = Ergodic jika • Ej = Aperiodic dan Recurrent Nonnull • fj = 1, Mj < ∞, dan β = 1 • Suatu Markov Chain adalah ergodic • jika semua states dari Markov Chain adalah ergodic • Jika jumlah states adalah terbatas/finite dan semua states dari Markov Chain adalah aperiodic, dan irreducible

19. Teorema 1 • States dari suatu irreducible Markov Chain adalah • semua transient atau • semua recurrent nonnull atau • semua recurrent null • Jika periodic, maka semua states memp. Periodsa sama β

20. Definisi • Mis j(n)= P[menemukan sistem pd state Ej pd step ke-n] j(n) = P[Xn = j] • Mis j = Stationary Probability = P[ada pd state j pd sembarang waktu] = limiting state probabilities

21. Teorema 2 • Pd suatu irreducible dan aperiodic, homogeneous Markov Chain, • Limiting state probabilities [j] selalu eksis dan independent dari initial state probability distribution [j(0)]

22. Teorema 2 • Apakah • Kasus (a) • Semua state adalah transient atau • Semua state adalah recurrent null  j = 0 j  Tdk ada stationary distribution eksis • Atau kasus (b) • Semua state adalah recurrent nonnull  j > 0 j  Stationary distribution eksis  j = 1/Mj

23. Solusi untuk j

24. Contoh Markov Chain • Mengendara dari kota ke kota

25. Contoh Markov Chain • Mis P = Matriks transition probability = [pij] • Mis  = [0, 1, 2, …] • dari Balance equation  = P

26. Contoh Markov Chain

27. Contoh Markov Chain

28. Contoh Markov Chain • Ini adalah stationary (equilibrium) state probability • Ini adalah ergodic Markov Chain • Jumlah state terbatas • Irreducible

29. Transient Behavior • Kita ingin tahu probabilitas menemukan proses dlm state Ej pd waktu n • (n) = [0(n) ,1(n) ,2(n) , …] • Dari Transition Probability P • Kita dp kalkulasi: (1) = (0)P (n) = (n-1)P • Dg recursive: (n) = (0)Pn

30. Transient Behavior • Dari stationary probability • Dari (n) = (n-1) P • Cat: solusi  independen dari (0)

31. Transient Behavior

32. Birth-Death Process • Suatu Markov Process • Homogeneous, aperiodic, dan irreducible • Discrete time / Continuous time • Perubahan state hanya dp terjadi antar tetangga

33. Birth-Death Process • Ukuran populasi • Sistem ada dlm state Ek jika terdiri dari k anggota • Perubahan dlm ukuran populasi terjadi paling banyak satu • Ukuran bertambah satu  “Birth” • Ukuran berkurang satu  “Death” • Transition probabilities pijtdk berubah dg waktu

34. Birth-Death Process

35. Birth-Death Process • i = death (berkurang satu dlm ukuran populasi) • 0 = 0 (tdk ada population  no death) • λi = birth (bertambah satu dlm populasi) • λi > 0 (birth dibolehkan) • Pure Birth = tdk ada pengurangan/ decrement, hanya penambahan/increment • Pure Death = tdk ada penambahan/ increment, hanya pengurangan/ decrement

36. Model Teori Antrian • Populasi = pelanggan/customers dlm sistem antrian • Death = satu pelanggan meninggalkan sistem • Birth = stau pelanggan datang ke sistem

37. Matriks Transisi