第 7 章

第 7 章 馬可夫鏈與賽局理論

7.1 馬可夫鏈例題1 股票的觀察 • 億平對某一家航空公司的股票很有興趣，持續觀察了一段時間，發現其收盤價(closing price) 的漲跌僅與前一日的收盤價有關。他於各交易日結束時做記錄，若當天的收盤價比前一個交易日的收盤價高、不變或低，則相對登錄為上漲、持平或下跌。億平的這一連串的觀察，可視為馬可夫鏈。 Tan/管理數學第7章第344頁

例題 2 股票的觀察 • 承例題1。據億平觀察所得，若該股票當天的收盤價高於前一天，則次日的收盤價會上漲、持平或下跌的機率分別為0.2, 0.3與0.5；若該股票當天的收盤價與前一天相同，則次日的收盤價會上漲、持平或下跌的機率分別為0.5, 0.2與0.3；若該股票當天的收盤價低於前一天，則次日的收盤價會上漲、持平或下跌的機率分別為0.4, 0.4與0.2。請利用樹狀圖敘述狀態間遞移的機率。 Tan/管理數學第7章第344頁

例題 2 股票的觀察（續） 解：本例的馬可夫鏈由三種狀態組成：上漲、持平或下跌。若現階段是上漲，則由上漲的狀態遞移到其他狀態之機率，標示於樹狀圖的分枝上，見圖1的最左圖。至於現階段是持平或下跌狀態，其對應的樹狀圖亦分別繪於圖1。 Tan/管理數學第7章第344-345頁

遞移機率 • 敘述馬可夫過程中由某個狀態到達下一個狀態的機率(如例題2中的機率)，稱為遞移機率(transition probabilities)。這些遞移機率可用矩陣式來表達。假設有一馬可夫鏈的試驗，各階段的結果有三種狀態，分別命名為狀態1、2、3，則由狀態1到達試驗的下個階段結果－－狀態1、2、3 的遞移機率，即為給定狀態1，而下一個階段進入狀態1、2、3的條件機率，可分別寫成P (狀態1 | 狀態1)、P (狀態2 | 狀態1)及P (狀態3 |狀態1)。若我們使用矩陣的元素符號，可記成 Tan/管理數學第7章第345頁

遞移機率 • 這裡元素a的第一個下標代表試驗的下一階段到達之狀態，我們稱為次態(next state)，而第二個下標則代表現在的狀態，稱為現態。若以樹狀圖表示，則有如下關係： Tan/管理數學第7章第345頁

遞移機率 • 同樣地，由狀態2 及3到達下一階段之狀態的條件機率可寫成及 Tan/管理數學第7章第345頁

遞移機率 • 若以矩陣表示，其形式如下 Tan/管理數學第7章第345-346頁

例題 3 • 將例題2中的遞移機率以矩陣表示。解：例題2的馬可夫鏈有三個狀態，我們以狀態1、2、3分別代表上漲、持平或下跌的狀態。因此當現態為狀態1時，次一階段到達狀態1、2、3的遞移機率分別為 Tan/管理數學第7章第346頁

例題 3（續） 解（續）：以此類推，故用矩陣表示則為 Tan/管理數學第7章第346頁

遞移機率 • 遞移矩陣 • 具n個狀態的馬可夫鏈可用n × n的遞移矩陣(transition matrix)T來表示，其 • 元素為aij (1  i  n; 1  j n)： • 且遞移矩陣T有如下性質： • 對任意的i與j，aij 0。 • 矩陣T的每一行的總和均等於1。 Tan/管理數學第7章第346-347頁

例題 4 都市與郊區間的人口流動 • 政府預期每年居住在都市的人口會有3%遷移到郊區，且居住在郊區的人口會有6%遷移到都市。現在已知人口的分布有65%住在都市，其餘35%住在郊區。假設總人口數維持不變，試問一年後的人口分布情形如何？ Tan/管理數學第7章第347頁

例題 4 都市與郊區間的人口流動（續） 解：我們可以利用樹狀圖及條件機率求解。本例的樹狀圖繪於圖2。由條件機率的性質可知，隨機抽取一人，則他(或她) 1年後會住在都市的機率為 (0.65)(0.97) + (0.35)(0.06) = 0.6515 1年後會住在郊區的機率為 (0.65)(0.03) + (0.35)(0.94) = 0.3485 因此，1年後的人口分布為65.15%居住於都市，而34.85%的人口居住於郊區。 Tan/管理數學第7章第347頁

例題 4 都市與郊區間的人口流動（續） 解（續）： Tan/管理數學第7章第347頁

例題 5 都市與郊區間的人口流動 • 承例題4，試問2 年後居住於都市的人口比例有多少？3 年後呢？解：令X2代表2年後人口分布的行向量。若將X1視為「初始」人口分布，則X2只是下一階段的人口分布，因此，可乘上一個T矩陣求得分布 Tan/管理數學第7章第348頁

例題 5 都市與郊區間的人口流動（續） 解（續）：類似的做法可得X3如下亦即3 年後居住於都市的人口佔65.41%，居住於郊區的人口佔34.59%。 Tan/管理數學第7章第348頁

分布向量 • 由前面的例子可以看出， X0 , X1 , X2 , X3之間存在如下關係式： X1 = TX0 , X2 = TX1 = T2X0及X3 = TX2 = T3X0，由此我們可以進行歸納。 Tan/管理數學第7章第349頁

分布向量 • 假設有一具備n個狀態的馬可夫鏈，系統一開始處於狀態1、狀態2、…、狀態n的機率分別寫成p1, p2, ... , pn，則其機率分配可表成n維向量如下：稱為分布向量(distribution vector)。若T是該馬可夫鏈的n × n遞移矩陣，則系統經過m次的觀察後，新的分布向量為 (1) Tan/管理數學第7章第349頁

例題 6 計程車的移動區域 • 吉利計程車行為了方便追蹤所屬計程車的動向，將市鎮劃分成三個區域：區域1、區域2 及區域3。吉利計程車行的管理者根據過往的紀錄得知，在區域1上車的顧客，有60%在同一區域下車，30%在區域2下車，10%在區域3下車。在區域2上車的顧客，有40%在區域1下車，30%在區域2下車，30%在區域3下車。另外在區域3上車的顧客，有30%在區域1下車，30%在區域2下車，40%在區域3下車。 Tan/管理數學第7章第349頁

例題 6 計程車的移動區域（續） • 又知某一天開始營運時，有80%的計程車分布於區域1，15%的計程車分布於區域2，5%的計程車分布於區域3，又知計程車空車時會固定在原區域內逗留直至招到乘客為止。 a.利用馬可夫鏈敘述計程車的移動區域，寫出其遞移矩陣。 b.在所有計程車載客一回結束後，找出其新的分布情形。 c.在所有計程車載客二回後，找出其新的分布情形。 Tan/管理數學第7章第349頁

例題 6 計程車的移動區域（續） 解：今區域1、區域2 及區域3 分別以馬可夫鏈的狀態1、狀態2及狀態3來代表。 a.其遞移矩陣為 Tan/管理數學第7章第349-350頁

例題 6 計程車的移動區域（續） 解（續）： b.問題中的初始分布向量為 Tan/管理數學第7章第350頁

例題 6 計程車的移動區域（續） 解 b（續）：令X1代表一次觀察之後(即所有計程車載客一回結束後)的分布向量，則亦即會有55.5%的計程車位於區域1，30%的計程車位於區域2，14.5%的計程車位於區域3。 Tan/管理數學第7章第350頁

例題 6 計程車的移動區域（續） 解（續）： c. 令X2代表二次觀察之後(即所有計程車載客二回後)的分布向量，則亦即會有49.65%的計程車位於區域1，30%的計程車位於區域2，20.35%的計程車位於區域3。此結果與利用T2X0計算出來的一樣。 Tan/管理數學第7章第350頁

7.2 正規馬可夫鏈例題1 女性的教育狀況 • 據調查完成大學教育的母親之中，女兒也完成大學教育的佔70%；未完成大學教育的母親之中，女兒完成大學教育的僅佔20%。已知現在完成大學教育的女性為20%，若照此趨勢發展，最後完成大學教育的女性會有多少比例？ Tan/管理數學第7章第355頁

例題1 女性的教育狀況（續） 解：本問題屬於馬可夫鏈，令完成大學教育為狀態1，未完成大學教育為狀態2，則遞移矩陣為初始分布向量為 Tan/管理數學第7章第355-356頁

例題1 女性的教育狀況（續） 解（續）：利用第7.1節公式(1) 可找出經過一代、二代、三代之後的女性教育狀況的分布向量X1 , X2及X3如下： Tan/管理數學第7章第356頁

例題1 女性的教育狀況（續） 解（續）：我們亦可繼續計算往後幾代的分布向量： Tan/管理數學第7章第356頁

例題1 女性的教育狀況（續） 解（續）：從這裡已經可以看出長期的趨勢為上述的向量稱做系統的極限(limiting)或穩態分布向量(steady-state distribution vector)。或 Tan/管理數學第7章第356頁

例題1 女性的教育狀況（續） 解（續）：由以上的數據可知，本例的初始分布情形，女性當中有20%完成大學教育，80%未完成大學教育；經過一代之後，女性當中有30%完成大學教育，70%未完成大學教育。若依此趨勢發展，經過許多代以後，女性當中將會有40%完成大學教育，60%未完成大學教育。 Tan/管理數學第7章第356-357頁

正規馬可夫鏈 正規馬可夫鏈若隨機矩陣T的次冪 T, T2, T3, ... 趨近一個穩態矩陣，且符合以下兩個條件者，稱為正規馬可夫鏈(regular Markov chain)： a.穩態矩陣裡每個元素都是正的。 b.同一列上的元素，其值均相等。 Tan/管理數學第7章第358頁

例題 2 • 判斷下列各矩陣是否為正規隨機矩陣：解： a.因矩陣中各元素均為正數，故知其為正規隨機矩陣。 Tan/管理數學第7章第358-359頁

例題 2（續） 解（續）： b.由於矩陣中有一個元素為0，因此，我們計算它的　次冪：　在二次冪時，所有元素均已是正數，故知其為正　規隨機矩陣。 Tan/管理數學第7章第359頁

例題 2（續） 解（續）： c.令矩陣為A並計算它的次冪：　由於A3 = A，因此知道A4 = A2, A5 = A, ...，由此判斷，不管　是A的任何次冪，不可能得到所有元素均為正的結果，故知　矩陣A不是正規的。 Tan/管理數學第7章第359頁

正規馬可夫鏈 求穩態分布向量令T是一個正規隨機矩陣，則其穩態分布向量為下面方程式的解 TX = X 並需滿足X向量的元素和為1 的條件。 Tan/管理數學第7章第359頁

例題 3 • 下面的遞移矩陣T屬於正規馬可夫鏈，試求其穩態分布向量： Tan/管理數學第7章第360頁

例題 3（續） 解：本例的T即為例題1 之遞移矩陣。令馬可夫鏈的穩態分布向量X為則TX = X得由此列出線性方程組 Tan/管理數學第7章第360頁

例題 3（續） 解（續）：但第一式與第二式各自化簡後，會發現它們與下面的方程式是一樣的：加上x + y = 1 的條件後，便得到以下線性方程組： Tan/管理數學第7章第360頁

例題 3（續） 解（續）：由第一式可得代入第二式後，得到 Tan/管理數學第7章第360頁

例題 3（續） 解（續）：因此，解得穩態分布向量為與例題1 的結果相符。 Tan/管理數學第7章第361頁

例題 4 計程車的移動區域 • 在第7.1節的例題6 中，我們找出敘述計程車移動區域的遞移矩陣T，並知T為正規隨機矩陣。試求計程車長時間之後在三個區域的分布情形。 Tan/管理數學第7章第361頁

例題 4 計程車的移動區域（續） 解：令穩態分布向量X為則由TX = X得 Tan/管理數學第7章第361頁

例題 4 計程車的移動區域（續） 解（續）：由此寫出線性方程組：化簡後的線性方程組為 Tan/管理數學第7章第361頁

例題 4 計程車的移動區域（續） 解（續）：加上x + y + z = 1的條件後，得到以下四個方程式的線性方程組： Tan/管理數學第7章第362頁

例題 4 計程車的移動區域（續） 解（續）：利用第2 章的高斯—喬登消去法，解得即x 0.47, y = 0.30 與z 0.23。因此，最後大約有47%的計程車分布在區域1，30% 的計程車分布在區域2，以及23% 的計程車分布在區域3。 Tan/管理數學第7章第362頁

7.3 吸收馬可夫鏈吸收馬可夫鏈 若一馬可夫鏈的遞移矩陣是吸收隨機矩陣，則稱之為吸收馬可夫鏈(absorbing Markov chain)。 • 吸收隨機矩陣 • 一個吸收隨機矩陣(absorbing stochastic matrix)必須符合 • 下面兩個性質： • 至少存在一個吸收態。 • 在任一非吸收態的物體，均有機會經由一個或多個階段來到吸收態。 Tan/管理數學第7章第368頁

例題 1 • 判斷下面的矩陣是否為吸收隨機矩陣： Tan/管理數學第7章第369頁

例題 1（續） 解： a.由於矩陣的a22=1且第二行的其餘元素均為0，因此知狀態2為吸收態。同理可知，狀態4 亦為吸收態。接下來要問的是，在非吸收態(狀態1 與狀態3) 的物體，是否有機會進入吸收態──狀態2或狀態4？檢視矩陣的第一行，可知在狀態1的物體有0.3的機會可到達狀態3。再由矩陣的第三行元素可知，在狀態3的物體有0.5 的機率可以進到狀態2，有0.2 的機率可以進入狀態4。我們注意到，雖然在狀態1的物體無法經一個階段即到達吸收態，但因有機會進入狀態3，便可由狀態3再到吸收態，只是中間需要經歷多個階段。綜合上述，本矩陣為一吸收隨機矩陣。 Tan/管理數學第7章第369頁

例題 1（續） 解（續）： b.狀態1 與狀態2 是吸收態，但處在非吸收態(狀態3 與狀態4) 的物體，都不可能到達狀態1 或狀態2。因此，本矩陣不是吸收隨機矩陣。 Tan/管理數學第7章第369頁

例題 2 賭徒的毀滅 • 軍豪決定以本錢 2 元參加賭局。他每次都下 l 元的賭注，每回贏的機率都是0.4 。軍豪將反覆地賭，直到錢輸光或手上擁有 3 元為止。請寫出此吸收馬可夫鏈的遞移矩陣。解：本題的馬可夫鏈有 4 個狀態，分別代表軍豪在賭的過程中手上的金額，有 $1、$2 及 $3 。由於 $0 的狀態表示錢輸光，不再玩，因此，這兩個狀態都是吸收態。 Tan/管理數學第7章第370頁

第 7 章

第 7 章

Presentation Transcript