統計學 : 應用與進階 第 3 章 : 隨機變數

1. 統計學: 應用與進階 第3 章: 隨機變數

2. 隨機變數(random variables) • 間斷隨機變數(discrete random variables) • Bernoulli 分配(Bernoulli distribution) • 連續隨機變數(continuous random variables) • 均勻分配(uniform distribution) • 連續隨機變數之函數 • 動差生成函數(moment generating functions)

3. 隨機變數 • 令X 代表由狀態空間映射到實數線的函數: 則稱X 為一個隨機變數。

4. 隨機變數 • 隨機變數: 將出象或事件以數值表示 • 原始動機可能是來自於賭博 • 隨機變數是一個函數, 隨機變數不是變數!

5. 例子: 擲一個六面骰子兩次 • 令 e = {i , j} = {第一次擲出點數,第二次擲出點數} • 賭局的報酬為X(e) = max(i , j) • 舉例來說, 如果我們擲出e = {2, 3}, 則贏3 元。

6. 狀態空間與所映射的隨機變數值

7. 單變量隨機變數 • Full description: 機率分配 • Average outcome: 期望值 • Dispersion of outcomes: 變異數, 標準差

8. 多變量隨機變數 • Full description: 聯合機率分配 • Comovement of outcomes: 共變數, 相關係數 • Generating new random variables out of old random variables (eg. 個股報酬⇒ 資產組合報 酬)

9. Notations • 隨機變數: X (ex ante) • 隨機變數實現值(realizations): x (ex post) • Notation: X = x

10. 間斷隨機變數(discrete random variables) • 如果隨機變數實現值的數目為有限的(finite) 或 是無限但是可數(countably infinite), 則稱之為 間斷隨機變數 • 例子: • 擲一個六面骰子所得到的點數(有限) • 餐廳營業一天的登門客人數目(無限但是可數)

11. 間斷隨機變數 • 令X 為一間斷隨機變數, 則其任一實現值發生之機率定義為 P(X = x) = P({ω : X(ω) = x}). • 隨機變數X 為實現值x 的機率事實上就是來自 ω事件(此事件符合X(ω) = x ) 發生的機率

12. 例子: 擲銅板的賭局 • 擲不公正銅板, 出現正面的機率為2/3, 出現反面的機率為1/3 • 令隨機變數X = 1 當出現正面, X = −1 當出現反面 • 則P(X = 1) 與P(X = −1) 分別為 P(X = 1) = P({ω : X(ω) = 1}) = P({正面}) = 2/3 P(X = −1) = P({ω : X(ω) = −1}) = P({反面}) = 1/3

13. 間斷機率分配: 機率質量函數 • 給定間斷隨機變數X 的實現值來自可數的集合 B ⊆ 。函數f (x) : → [0, 1] 定義為 且滿足 我們稱f (x) 為機率質量函數(probability mass function), 簡稱pmf

14. 顯而易見地, 根據機率質量函數之定義, 當x B, 則 f (x) = 0, 從而機率質量函數f (x) 的定義域 (domain) 可以為整個實數線此外, 我們也將B 稱作 隨機變數X 的砥柱集合(support)

15. 砥柱集合 • 給定一隨機變數之實現值使其機率不為零的集合 {x : f (x) > 0}, • 稱為此隨機變數的砥柱集合(support), 以supp(X)表示之

16. 砥柱集合 • 因此, 機率質量函數定義中的性質可以改寫成 • 1 • 2

17. 砥柱集合: 例子 • 以之前擲銅板的賭局為例, 我們可以寫出如下的間斷機率分配: 而其砥柱集合則為supp(X) = {1,−1}

18. 累積分配函數(cumulative distribution function) • 給定任何實數x, 函數F(x) : R 7→ [0, 1] 滿足 F(x) = P(X ≤ x), 則稱F(x) 為累積分配函數, 簡稱CDF, 一般又稱 分配函數

19. 累積分配函數的相關性質

20. 例子: 擲銅板的賭局 • 我們知道其pmf 與CDF 分別為

21. 機率質量函數: 擲銅板賭局

22. 累積分配函數: 擲銅板賭局

23. 間斷隨機變數之動差 • 一般來說, 描繪隨機變數特性的最佳方式就是以機率分配刻劃其全貌 • 為了簡化分析, 有時我們僅對用來刻劃隨機變數部份特性的動差(moments) 有興趣

24. 間斷隨機變數之動差 • 譬如說, 當我們購買風險性資產時, 假設其報酬為X。由於面對不確定性, 因而X 為一隨機變數。一般的經濟理論會假設人們的效用函數中僅考慮報酬期望值(一階動差) 與變異數(二階中央動差): u = u(期望報酬,變異數) = u(E(X), Var (X)), 而變異數事實上就是用於衡量該資產的風險

25. 期望值 • 隨機變數X 的期望值(expectation, expected value) 定義為 • 我們常用希臘字母μ (讀作mu) 代表期望值。 期望值又稱均數(mean), 事實上就是X 所有可能實現值以機率為權數的加權平均(weighted average) • 期望值所衡量的, 就是隨機變數「平均而言」會出現的值

26. 期望值 • 值得注意的事情是, 期望值是將隨機變數所有可能的實現值, 依其可能發生的機率加權後加總得來, 因此期望值是一個確定的值, 是一個常數,不再是隨機變數 • 為了避免符號上的複雜, 我們將假設所有加總的範圍都是隨機變數的砥柱集合, 亦即除非另有說明, 我們將以取代

27. 期望值的性質 • 給定X 為一間斷隨機變數, 則 • 一般而言, 除非g(·) 為線性函數(linear function), 要不然 • 舉例來說,

28. 變異數 • 隨機變數X 的變異數(variance) 定義為 • 我們常用希臘字母 ( σ讀作sigma) 代表變異數 • 變異數是用來衡量所有可能實現值偏離均數的 間斷程度

29. 變異數 • 由於我們將隨機變數減去其均數後再平方, 使得變異數的單位難以定義。舉例來說, 如果X 代表賭資, 則期望值的單位為元, 而變異數的單位為元的平方, 不具任何意義 • 因此, 我們將變異數開平方根, 得到單位具有意義的間斷程度衡量, 稱之為標準差(standard deviation):

30. 重要性質

31. 動差(moments) 與中央動差(central moments) • 隨機變數X 的r 階動差與r 階中央動差分別為 • r 階動差 • r 階中央動差 • 因此, 一階動差就是隨機變數的期望值; 而二階中央動差就是隨機變數的變異數

32. 動差的功能 • 動差可以幫助我們描繪(summarize) 隨機變數(猶如以身高, 體重, 膚色, 髮色等來描繪一個人) • 舉例來說, 常態分配(之後有詳盡介紹) 可以只用一階與二階動差予以刻畫

33. 將常數視為一隨機變數 • 給定常數k, 若將之視為一隨機變數, 則 E(k) = k, 且 Var (k) = 0.

34. 間斷隨機變數的一個例子: Bernoulli 分配 • 我們將在之後討論一些常用且重要的間斷隨機變數, 在此, 我們先介紹一個簡單的間斷隨機變數: Bernoulli 分配, 提供讀者一個例子以進一步了解間斷隨機變數的許多性質 • 給定隨機試驗只有兩個出象, 例如擲銅板, 支持或不支持特定候選人之民調, 品質管制(良品或不良品) 等, 這樣的隨機試驗我們稱之 Bernoulli 試驗(Bernoulli trials)

35. Bernoulli 隨機變數(Bernoulli random variables) • 如果X 的機率分配為 • 其中X = 1 代表出象為成功(success); X = 0 代表出象為失敗(failure), 則我們稱X 為具有成功機率p的Bernoulli 隨機變數, 並以X ∼Bernoulli(p) 表示之

36. Bernoulli 隨機變數 • 值得注意的是, 我們對於出象為成功或失敗, 可以自由設定。譬如說, 我們可以設定擲銅板出現正面為成功(X = 1), 出現反面為失敗(X = 0)。然而反之亦可 • Bernoulli 隨機變數的可能實現值非0 即1, 因此其砥柱集合為

37. Bernoulli 隨機變數 • Bernoulli 隨機變數的pdf 為 • 也可寫成

38. Bernoulli 隨機變數 • Bernoulli 隨機變數

39. Bernoulli 隨機變數 • Bernoulli 隨機變數的期望值, 二階動差與變異數分別為

40. 連續隨機變數 • 如果隨機變數X 理論上的可能實現值為任一區間中的任意實數, 則X 就稱作為一個連續隨機變數, 舉例來說, 明天的降雨量, 下一尾上鉤的魚的體重, 或是電池的壽命等 • 定義連續隨機變數最簡單的方法是由累積分配函數出發 • 累積分配函數的定義為F(x) = P(X ≤ x), 因此, 如果F(·) 函數為連續且可微分, 則稱X 為一連續隨機變數

41. 連續隨機變數 • 給定函數f : R → R 以及任意實數a ≤ b, 使得 = (f 曲線下, 橫軸之上, a 到b 的面積), • 則稱X 為一連續隨機變數, 且f (x) 稱為X 的機率密度函數(probability density function)。我們要求

42. 機率密度函數

43. 連續隨機變數 • 對於連續隨機變數, 我們所計算的是一段區間, 如(a, b), 所發生的機率, 而非可能實現值個別發生的機率, 因為任何一個可能實現值發生的機率必須為0: P(X = x) = 0 • 理由在於, 連續隨機變數的可能實現值有無窮多個且不可數 • 為什麼我們可以無中生有?

44. 連續隨機變數的性質 • 假設 單調非遞減

45. 累積分配函數

46. 連續隨機變數之動差 • 期望值 • 變異數

47. 連續隨機變數之動差 • r 階動差 • r 階中央動差

48. 均勻分配 • 我們將在之後討論一些常用且重要的連續隨機變數, 在此, 我們先介紹一個簡單的連續隨機變數: 均勻分配(uniform distribution)。

49. 均勻分配 • 給定隨機變數X 在區間[l , h] 中, 其實現值落在任意一個子區間[a, b] 的機率恰為 則稱X 為一均勻隨機變數, 其pdf 為 並以X ∼ U[l , h] 表示之

50. 均勻分配 • 均勻隨機變數的CDF 為