第五章機率、隨機訊號與雜訊

第五章機率、隨機訊號與雜訊 通訊原理第五章機率、隨機訊號與雜訊

大綱 5-1機率變數 • 離散隨機變數(Discrete Random Variables) • 連續隨機變數(Continuous Random Variables) 5-2 隨機程序 • 隨機程序(Random Processes)基本概念 • 自相關函數、互相關函數 • 廣義穩定隨機程序(Wide SenseStationary Random Processes) • 功率頻譜密度函數(Power Spectral Density) 5-3隨機訊號通過線性非時變系統(Transmission of a Random Processes through Linear Time-Invariant System) 5-4雜訊 • 高斯隨機雜訊(Gaussian Random Noise) • 白色雜訊 • 窄頻雜訊(Narrowband Noise) • 正弦波加上窄頻雜訊(Sinusoidal Wave Plus Narrowband Noise) 通訊原理第五章機率、隨機訊號與雜訊

機率變數 • 在機率或隨機程序裡常利用機率模式或機率系統來描述所觀察到的現象，定義一個機率模式(model) (由S,E,P所組成)： • 取樣空間(sample space, S) ，以符號S來表示： • 取樣空間S是觀察某個隨機實驗所有可能發生的實驗現象或結果(sample point or outcome)所形成的集合。 • 事件(event, E): • 取樣空間之部份集合稱為事件，以符號E來表示。 • 機率測量(probability measurement) ，用P [·]表示。 • 某一事件的機率測量可以定義為其中nE表示N次隨機實驗中，事件E出現的次數。無法預知下次實際結果通訊原理第五章機率、隨機訊號與雜訊

集合之基本運算 • 一個取樣空間S中若有兩集合(事件)A與B，以下是集合的基本運算： • 聯集 (Union)：或 • 交集 (Intersection)：且 • 補集 (Complement)：且 Venn diagram 通訊原理第五章機率、隨機訊號與雜訊

機率公設 • 機率測量均會滿足： • P[S]=1，以及P[ ]=0。 • 對於任意事件A，。 • 若A和B兩個事件是互斥，則。 • 範例 5-1-1 • 以擲骰子為例子，討論機率空間: • S= • P[ ]=0, , , P[S]=1 表示空集合若兩事件互斥，則兩事件交集是空集合，兩事件聯集是取樣空間S。事件=“實驗結果點數是偶數” 通訊原理第五章機率、隨機訊號與雜訊

機率公設 • 以下列出幾條機率特性、公設(Axioms)： • 公設3證明：因為A與Ac為互斥事件 A/B代表結果屬於事件A 但不屬於事件B的集合通訊原理第五章機率、隨機訊號與雜訊

條件機率 • 條件機率：事件A、B為取樣空間S之部分集合，且P[B]>0，則在事件A已發生的前提下，事件B發生的機率即為條件機率。 • 條件機率的定義：。 • 若A與B互斥，也就是，則。 • 若A是B的子集合，則。 • 若則稱A和B互為獨立事件(統計上的獨立)。已知事件A發生不會影響事件B機率的測量通訊原理第五章機率、隨機訊號與雜訊

貝氏定理 • 若，且，則{E1 , E2 , …… , En }稱為事件空間。 • 全機率定理(Total Probability Theorem)： • 若{E1 , E2 , …… , En }是ㄧ組事件空間，對於任意事件A而言，恆有： • 貝氏定理(Bayes’ Theorem)： • 若{E1 , E2 , …… , En }是ㄧ組事件空間，對於任意事件A，且P[A]>0，恆有： E1 , E2 , …… , En均為事件稱為事前機率稱為事前機率通訊原理第五章機率、隨機訊號與雜訊

隨機變數 • 隨機變數(Random Variables)： • 隨機變數是一種函數對應的關係，是將取樣空間中每個實驗結果對應於一個實數值，則稱為隨機變數，簡寫為X，其函數結構為X : SR，其中R為實數域。圖5-1-1 通訊原理第五章機率、隨機訊號與雜訊

取樣空間 • 取樣空間S是隨機變數的定義域，其對應域為R ，而隨機變數的值域(range)SX乃是某個隨機變數所有對應出實數值的集合或範圍。 • 若以不同的角度來觀察某個隨機實驗的結果，所形成的取樣空間就會改變。 • 定義隨機變數最主要的目的是將某個隨機實驗所有可能會發生的結果加以數值化，以方便之後進行統計上的處理與運算。圖5-1-2 通訊原理第五章機率、隨機訊號與雜訊

事件 • 事件(event)會是取樣空間的子集合，換句話說當某個隨機實驗進行時發生某個事件的結果一定會包含在所對應子集合裡。 • 任一事件A是取樣空間S的子集合，即A S，此集合是包含所有屬於事件A的實驗結果，經過隨機變數X函數對應後映至B，也就是 • 當事件A發生時，事件B也會跟著發生，所以A跟B被視為等效事件，所以兩者發生的機率會一致，P[B] = P[A]。圖5-1-3 通訊原理第五章機率、隨機訊號與雜訊

機率變數 • 範例 5-1-2 • 假設一公平的硬幣連續投擲三次，定義隨機變數X表示正面出現的次數： • 隨機變數X的值域SX={0,1,2,3}。 • 所謂公平即是一次投擲出現正面與反面的機率各為1/2，因此每個outcome出現的機率均是1/8。 • 例如P[X=2]=P[正正反,正反正,反正正]=3/8。此即為隨機變數的對應關係通訊原理第五章機率、隨機訊號與雜訊

離散隨機變數 • 離散隨機變數(Discrete Random Variables) • 定義：若是隨機變數X之值域SX為可計數的，不論個數是有限或是無限，稱為離散型隨機變數。 • 對於離散隨機變數，機率質量函數(probability mess function, PMF)是用來表示離散隨機變數值域中每一個元素的機率值，其數學符號為。通訊原理第五章機率、隨機訊號與雜訊

離散隨機變數 • 對於離散隨機變數X，機率質量函數為PX(x)之具有之特性： • 隨機變數值域中對於每個元素x，其機率值必為正值： PX(x)  0 • 對於隨機變數值域中所有元素的機率值相加必為1： • 對於任何一個事件AS，經過隨機變數X函數對應後映至B SX，則事件A出現的機率為通訊原理第五章機率、隨機訊號與雜訊

累積分配函數 • 累積分配函數(cumulative distribution function, CDF) • 若隨機變數X之機率質量函數為PX(x)，定義累積分配函數為： • 累積分配函數的重要特性：隨機變數X小於x的機率:即是將隨機變數的值域SX中所有小於以及等於x的機率全部累加起來。累積分配函數是右連續函數，但不一定是左連續函數。通訊原理第五章機率、隨機訊號與雜訊

累積分配函數 • 範例 5-1-3 • 公平的銅板連續投擲三次，隨機變數X表示正面出現的次數，請繪出此隨機變數之機率質量函數及累積分配函數： • 解答圖5-1-4 通訊原理第五章機率、隨機訊號與雜訊

累積分配函數 FX(x) x • 根據上表，可獲得累積分配函數為：圖5-1-5 通訊原理第五章機率、隨機訊號與雜訊

累積分配函數 FX(x) x • 機率質量函數及累積分配函數關係：將機率質量函數的各點的機率值由左至右累加起來，即可獲得累積分配函數；累加到最後機率值為1 機率質量函數累積分配函數通訊原理第五章機率、隨機訊號與雜訊

平均值或期望值 • 平均值(average)或期望值(expected value)： • 離散型隨機變數X的平均值定義為: • 平均值的意義：某個隨機變數的平均值，是指進行許多次隨機試驗後計算其統計平均值，也就是將各個可能出現的結果xi做算術平均，還要乘上其對應的機率值PX(xi)進行加權，即獲得其統計平均值。 • 離散型隨機變數X之機率質量函數為PX(x) ，若Y=g(X)是定義在X之值域上的函數，則Y之期望值為: 通訊原理第五章機率、隨機訊號與雜訊

平均值或期望值 • 隨機變數經由線性轉換後的期望值: • 隨機變數X之機率質量函數為PX(x)，經由線性轉換Y=g(X)=aX+b後，則Y之期望值為: • 証明：隨機變數Y與X的平均值也滿足函數(線性轉換)的關係通訊原理第五章機率、隨機訊號與雜訊

變異數與標準差 • 變異數(Variance) • 離散型隨機變數X的變異數的定義為： • 標準差(Standard deviation) • 隨機變數X的標準差的定義為： • 在統計上，比較常使用變異數的平方根，也就是標準差，因為標準差的單位和隨機變數X是一樣的。通訊原理第五章機率、隨機訊號與雜訊

變異數與標準差 • 常用之定理： • 證明：通訊原理第五章機率、隨機訊號與雜訊

離散隨機變數 • 範例 5-1-4 • 某ㄧ個隨機變數R，其機率質量函數如下，期望值為3/2，求隨機變數R的變異數？ • 解答 • 由公式(5-1-1)得知，Var[X]=E[X2]-(E[X])2 通訊原理第五章機率、隨機訊號與雜訊

動差形成函數 • k次動差(kth moment)：離散型隨機變數X的k次動差之定義如下: • 動差產生函數(Moment Generating Function, MGF)之定義如下: • 函數之定義： • 具有之特性：將動差產生函數微分k次後帶入t=0 之後獲得隨機變數k次動差由無窮多個動差來合成動差產生函數通訊原理第五章機率、隨機訊號與雜訊

均勻分配 • 接下來介紹常用的離散型隨機變數 • 均勻分佈 (Uniform Distribution) • 定義：若是隨機變數X的機率質量函數滿足底下公式則稱隨機變數X為離散型均勻分配。 • 意義：若隨機變數具有n個不同結果，每個結果都具有相同之機率，則稱為均勻分佈之隨機變數。 • ㄧ般用在對於每一個實驗結果沒有進一步資訊或概念時，先假設每一個結果發生的機率皆相同。通訊原理第五章機率、隨機訊號與雜訊

均勻分配 相同之機率機率機率圖5-1-9 圖5-1-10 離散型均勻分配機率質量函數圖形離散型均勻分配累積分配函數圖形圖片來源http://wikimediafoundation.org/wiki/Home 通訊原理第五章機率、隨機訊號與雜訊

白努力分配 • 白努力分配 (Bernoulli Distribution) • 定義：若是隨機變數X的機率分配為則稱隨機變數X為白努力分配，記為X~B(1, p)。 • 白努力試驗的意義： • 每次試驗結果只有兩種，成功或失敗。 • 任何一次試驗彼此互相獨立。 • 成功或失敗機率在每次試驗中均相同。 • 日常生活中，很多例子都是白努力試驗的結果。例如擲硬幣、品管檢查等等。通訊原理第五章機率、隨機訊號與雜訊

白努力分配 • 範例 5-1-5 • 若隨機變數X~B(1, p)，試求：(1)動差母函數 (2)平均值 (3)標準差 • 解答 • 白努力的機率分配由式子(5-1-2)， (2) MX(t)在t=0 之泰勒展開式： (接下頁) 通訊原理第五章機率、隨機訊號與雜訊

白努力分配 所以可得 (3)由式子(5-1-1) 通訊原理第五章機率、隨機訊號與雜訊

二項分配 • 二項分配 (Binomial Distribution) • 定義：若是隨機變數X的機率分配為則稱隨機變數X為二項分配，記為X~B(n, p)。 • 意義：就白努力試驗而言，如果每次成功機率為p，則失敗機率為1-p，執行n次試驗之後，成功次數即為隨機變數X，其值介於0~n之間，則X之機率分配即為二項分配。通訊原理第五章機率、隨機訊號與雜訊

二項分配 • 範例 5-1-6 • 若隨機變數X~B(n,p)，試求X的動差母函數、期望值以及標準差。 • 解答動差母函數由式子(5-1-4)，期望值而標準差通訊原理第五章機率、隨機訊號與雜訊

二項分配 • 範例 5-1-7 • 讓隨機變數X表示n個骰子中出現點數為六點的骰子個數，試計算X的變異數。 • 解答點數六點表示成功，所以隨機變數X可用~B(n, 1/6)來表示由式子(5-1-1)，通訊原理第五章機率、隨機訊號與雜訊

機率密度函數 機率密度函數積分後才是機率！ • 連續隨機變數(Continuous Random Variables) • 定義：若是隨機變數X之值域SX為不可計數的，稱為連續型隨機變數。 • 機率密度函數(Probability Density Function, PDF)： • 若一個非負的連續函數fx(x)滿足以下式子：則fx(x)就是隨機變數X的機率密度函數。 • 機率密度函數的特性：就像水的密度是1 乘上體積後才表示水的質量！通訊原理第五章機率、隨機訊號與雜訊

累積分配函數 • 累積分配函數(Cumulative Distribution Function, CDF)： • 若隨機變數X的機率密度函數為fX(x)，我們可以定義累積分配函數： • 累積分配函數有以下特性： • 累積分配函數是右連續的(Right-continuous)。通訊原理第五章機率、隨機訊號與雜訊

連續隨機變數 • 範例 5-1-14 • 令隨機變數X表示在區間(0,3)內所取的任意點，試求出隨機變數X的機率密度函數。 • 解答 • 令X的機率密度函數fX(x)=k，例用機率密度函數特性2，所以通訊原理第五章機率、隨機訊號與雜訊

連續隨機變數 • 累積分配函數之圖例：圖5-1-14 連續型隨機變數之累積分配函數圖形 John G. Proakis, Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002 通訊原理第五章機率、隨機訊號與雜訊

期望值 • 變數變換後的期望值： • 若連續型隨機變數X之機率密度函數為fX(x)，而g(x)為定義在X之值域上的函數，則g(X)之期望值為：通訊原理第五章機率、隨機訊號與雜訊

變異數 • 變異數： • 若隨機變數X具有機率密度函數fX(x)以及累積機率函數FX(x)，則變異數： • 若Var(x)很小，表示x的值都在平均值附近。 • 所以變異數可以反應隨機變數X的所有x值之間分散的程度。通訊原理第五章機率、隨機訊號與雜訊

連續隨機變數 • 期望值的特性： • 變異數的特性(假設c為任意常數)：所以將f(x)圖形左右平移，並不會影響此分配之分散狀況通訊原理第五章機率、隨機訊號與雜訊

連續隨機變數 • 範例 5-1-15 • 若隨機變數X的累積分配函數為FX(x)=1-e-x2 , x>0。試利用求出X的變異數。 • 解答由式子(5-1-5) 由式子(5-1-6) 通訊原理第五章機率、隨機訊號與雜訊

平均值與動差 • 平均值： • 連續型隨機變數X的平均值的定義為： • 平均值的意義：某個隨機變數的平均值，是指該隨機試驗進行許多次以後的平均結果。所以，不僅將各個結果xi做算術平均，要再乘上出現機率fX(xi)dx進行加權！ • n次動差(nth moment)：連續型隨機變數X的n次動差之定義為：通訊原理第五章機率、隨機訊號與雜訊

動差形成函數 • 動差形成函數(Moment Generating Function, MGF) • 定義： • 特性： • 特性2證明：歸納可得通訊原理第五章機率、隨機訊號與雜訊

特徵函數 • 特徵函數(Characteristic Functions)： • 隨機變數X具有機率密度函數fX(x)，則X之特徵函數之定義為： • 特徵函數實際上就是fX(x)取傅立葉轉換，故不論X為何種機率分配特徵函數一定存在。 • 範例 5-1-16 • 有ㄧ個高斯隨機變數，期望值m，變異數，可知特徵函數：通訊原理第五章機率、隨機訊號與雜訊

變數變換 • 對於可微分函數而言y=g(x)而言，則隨機變數X 經由Y =g(X)轉換後之機率密度函數fY (y)為： • 範例 5-1-17 • 若隨機變數X為常態分配，，試求隨機變數Y=aX+b的機率密度函數： • 解答通訊原理第五章機率、隨機訊號與雜訊

隨機向量 • 隨機向量(Random Vector)：延伸連續型隨機變數的概念到多維的連續型隨機向量。 • 設S為連續型結合隨機變數(X,Y)之值域，E為S內之任一部分集合，若實函數fX,Y(x,y)滿足：則稱fX,Y(x,y)為(X,Y)的結合機率密度函數。 • 結合機率密度函數特性：通訊原理第五章機率、隨機訊號與雜訊

結合累積分配函數 • 定義X和Y的結合累積分配函數(joint CDF)為： • 由萊布尼茲(Leibnitz’s)微分法則得知結合機率密度函數和結合累積分配函數的關係為： • 在已知X=x的情形下的條件機率函數為：通訊原理第五章機率、隨機訊號與雜訊

結合累積分配函數 • 所以對於統計上獨立的隨機變數X與Y，我們有： • 若g(x,y)為定義在X,Y之值域上的函數，則可以得知g(x,y)的期望值為： • 相關性：若g(x,y)為XY，則E[XY]稱為隨機變數X與Y的相關性。通訊原理第五章機率、隨機訊號與雜訊

共變數 • 共變數(Covariance) • 隨機變數X,Y之共變數定義： • 共變數的意義： • 若隨機變數X與Y同時減少，則Cov(X,Y)>0 • 若隨機變數X與Y的增減互為相反，則Cov(X,Y)<0 • 若隨機變數X與Y互為獨立，則Cov(X,Y)=0 (證明) Cov(X,Y)=E[XY]-E[X]E[Y] = E[X]E[Y]-E[X]E[Y]=0 通訊原理第五章機率、隨機訊號與雜訊

相關係數 • 相關係數(Correlation Coefficient) • 隨機變數X,Y之相關係數定義： • 相關係數之性質： • 之值在+1與-1之間。 • 若，則稱X與Y為互不相關(uncorrelated)。 • 若X與Y互為獨立，則X與Y必定不相關，反之未必。通訊原理第五章機率、隨機訊號與雜訊

第五章 機率 、 隨機訊號與雜訊