統計學 : 應用與進階第 7 章 : 抽樣與抽樣分配

統計學: 應用與進階 第7 章: 抽樣與抽樣分配

抽樣理論 • 統計量 • 抽樣分配 • 與抽樣分配相關的重要分配 • 實際分配

抽樣理論 • 任何一個具良好定義的特定事物所形成的集合我們稱之為母體 • 舉例來說, 所有台大學生的身高, 全球人類的智商, 全台灣家計單位的所得等等, 都可視為一個母體 • 母體的大小可能是有限, 亦可能為無限。當母體包含一個正在持續進行的過程, 以至於不可能列出或計數出所有元素時(例如釀酒木桶中酵母菌的數目), 則母體大小為無限

抽樣理論 • 一般來說, 由於經費或時間上的限制, 或是母體大小為無限時, 我們無法窮究整個母體, 僅能透過觀察母體中的部份集合來推論整個母體, 此部份集合就稱作樣本(sample) • 將樣本由母體抽取出來的過程就稱作抽樣 • 而所謂的統計推論(statistical inferences) 就是探討如何利用樣本來獲知母體資訊

隨機樣本(random samples) • 如果一組隨機變數係由如下的聯合機率分配所抽出 • 則我們稱該組隨機變數為一組樣本大小為n 的隨機樣本

隨機樣本 • 隨機樣本有兩大特徵: • {X1, X2, . . . , Xn} 來自相同的母體分配f (·), • {X1, X2, . . . , Xn} 相互獨立 • 因此, 隨機樣本又可稱為I.I.D. 樣本(I.I.D. samples) • 以下的幾種說法代表同一個概念: • 為期望值為μ, 變異數為2 之隨機樣本, • 為期望值為μ, 變異數為之I.I.D. 樣本, • ∼i.i.d. (μ, )。

隨機樣本: ∼i.i.d. (μ, ) • E(X1) = E(X2) = · · · = E(Xn) = μ, • Var (X1) = Var (X2) = · · · = Var (Xn) = , • 且對於任一i ≠j , E(XiXj ) = E(Xi )E(Xj). • 注意! “隨機樣本”一詞中的“隨機”之概念來自於“事前” (ex ante)

統計量(statistics) • 統計量是隨機樣本的函數: T = t(X1, X2, . . . , Xn), 其重要特徵為, 統計量不包含任何未知參數 • 樣本均數(sample mean) • 樣本變異數(sample variance)

統計量(statistics) • 樣本共變數(sample covariance) • 樣本相關係數(sample correlation coefficient)

統計量(statistics) • 樣本r 階動差(sample r -th moments)

抽樣分配 • 統計量為隨機樣本的函數, 則統計量本身自然也是一個隨機變數 • 既然是隨機變數, 就會有其機率分配, 而統計量 • 的機率分配取決於 • 組成該統計量之隨機樣本{X1, X2, . . . , Xn} 所來自的母體分配, • 統計量本身的函數形式t(X1, X2, . . . , Xn) • 統計量的機率分配稱之為抽樣分配

抽樣分配 • 在某些已知特定的母體分配假設下, 我們可以找出某些統計量的實際抽樣分配(exact distribution) • 然而, 在大多數的情況下, 我們無法得知隨機樣本抽自何種母體分配, 則此時我們將借重漸近理論(asymptotic theory) 來找出當樣本夠大時,統計量的漸近分配(asymptotic distribution)

與抽樣分配相關的重要分配: 卡方分配 • 給定Z1, Z2 . . . , Zk為k 個獨立的標準常態隨機變數N(0, 1), • 令 • 則稱W 為具有卡方分配(Chi-square distribution) 之隨機變數並以的符號示之 • 參數k 稱為卡方隨機變數的自由度(degree of freedom)

與抽樣分配相關的重要分配: 卡方分配 • 卡方隨機變數乃是由標準常態隨機變數平方後加總而來, 故其砥柱集合(support) 為 supp(W) = {w|0 ≤ w < ∞} • 卡方分配的機率密度函數為: 其中, 為Gamma 函數

與抽樣分配相關的重要分配: 卡方分配 • 卡方隨機變數的r 階動差為 • 因此, 亦即卡方隨機變數的期望值為其自由度, 變異數則為兩倍的自由度

與抽樣分配相關的重要分配: 卡方分配 • 將k 個獨立的N(0, 1) 平方後加總起來, 可得 (k) 隨機變數。 • 反之, 如果我們有一個隨機變數W 服從於 (k) 分配, 則我們可以將W 表達成k 個獨立的N(0, 1) 平方後之加總。

與抽樣分配相關的重要分配: 卡方分配 • 可加性: 若X ∼ (kX ), Y ∼ (kY ), 且X, Y相互獨立, 則X + Y ∼ (kX + kY ) • 亦即, 兩個獨立的卡方隨機變數相加, 所得到的新的隨機變數仍然具有卡方分配, 且其自由度為該兩個卡方隨機變數自由度之加總 • 此性質可以推廣到n > 2, 亦即為n 個獨立卡方隨機變數, 則

卡方分配(k = 3, 7, 9)

與抽樣分配相關的重要分配: t 分配 • t 分配為William Sealy Gosset (1876–1937) 所發現 • 由於Gosset 所任職的健力士公司(Guinness Brewing Co.) 為了避免商業機密外洩, 嚴令禁止員工發表論文, 因此, Gosset 係以Student 之筆名發表其研究成果, 是故t 分配又被稱作 Student’s t 分配

與抽樣分配相關的重要分配: t 分配 • 給定兩個獨立隨機變數: Z ∼ N(0, 1), • W ∼ (k), 則我們建構一個新的隨機變數則稱U 為具有t 分配(t distribution) 之隨機變數並以以下符號示之: 其中參數k 稱為t 分配的自由度

與抽樣分配相關的重要分配: t 分配 • t 分配的機率密度函數為: • 其砥柱集合為supp(U) = {u| −∞ ≤ u < ∞}

t 分配為一對稱於零的分配 • 當自由度變大時, t 分配趨近於標準常態分配, t(k) → N(0, 1) as k → ∞. • 當k = 1, t(1) 為一特別的例子, 它的期望值不存在: E[t(1)] = ∞, 此時t(1) 又被稱為標準柯西分配(standard Cauchy distribution)

t 分配: k = 1(實線), k = 300 (虛線)

與抽樣分配相關的重要分配: F 分配 • 給定X1與X2為相互獨立之卡方隨機變數: 則稱為自由度為(n1, n2) 之F 分配統計

與抽樣分配相關的重要分配: F 分配 • 機率密度函數為: • 砥柱集合(support) 則為 supp(F) = {f |0 ≤ f < ∞}

與抽樣分配相關的重要分配: F 分配 • 若X ∼ F(n1, n2) 且Y = 1/X , 則Y ∼ F(n2, n1) • 若t ∼ t(k), 則t² ∼ F(1, k)

F 分配(n1 = 10, n2 = 10)

Critical Valuesof F-Test 0 0 F 0 Note!

實際分配 • 在已知隨機樣本具有常態分配的條件下, 我們可以得到某些統計量的實際分配(exact distribution) • 令為一組來自常態母體N(μ,σ²) 且樣本大小為n 的隨機樣本 • 我們所考慮的統計量為樣本均數樣本變異數以及利用與所建構的其他統計量

重要實際抽樣分配 • 若則 • 若則

重要實際抽樣分配 • 若則與相互獨立 • 若則 • 令與為兩組獨立之樣本,則

統計學 : 應用與進階第 7 章 : 抽樣與抽樣分配