Interval Estimation

Interval Estimation Overview

假設有 random sample: (X1,…,Xn)(X_1,\ldots,X_n)
Parameter of interest: μ=E(Xi)\mu=E(X_i)

對 μ\mu 的估計可以分成:

  • Point estimation: 用單一數值估計 parameter
  • Interval estimation: Point estimator ± margin of error

對 population mean: μ^=Xˉ\hat\mu=\bar X

Confidence interval 的基本形式: Xˉ±margin of error\bar X\pm\text{margin of error}

  • Z interval: σ² known
  • T interval: σ² unknown，用 S² 估計

Confidence Level

設定 confidence level: (1−α)100%(1-\alpha)100\%

常見情況:

Confidence Level α\alpha α/2\alpha/2 Critical Z
90% 0.10 0.05 1.6451.645
95% 0.05 0.025 1.961.96
99% 0.01 0.005 2.5752.575

Critical value zα/2z_{\alpha/2} 滿足: P(−zα/2≤Z≤zα/2)=1−αP(-z_{\alpha/2}\le Z\le z_{\alpha/2})=1-\alpha

等價地: P(Z>zα/2)=α/2P(Z>z_{\alpha/2})=\alpha/2

Z Interval for Population Mean μ\mu

使用條件

若 Xi∼iidN(μ,σ2)X_i\overset{iid}{\sim}N(\mu,\sigma^2)

且 population variance σ2\sigma^2 已知，則 Xˉ∼N(μ,σ2n)\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right)

所以 Xˉ−μσ/n∼N(0,1)\frac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1)

若 population 非 Normal，但 nn 足夠大，也可以利用 large-sample approximation。

Confidence Interval Formula

(1−α)100%(1-\alpha)100\% confidence interval: Xˉ±zα/2σn\bar X\pm z_{\alpha/2}\frac{\sigma}{\sqrt n}

也就是: [Xˉ−zα/2σn, Xˉ+zα/2σn]\left[\bar X-z_{\alpha/2}\frac{\sigma}{\sqrt n},\ \bar X+z_{\alpha/2}\frac{\sigma}{\sqrt n}\right]

Margin of error: ME=zα/2σnME=z_{\alpha/2}\frac{\sigma}{\sqrt n}

Margin of Error

對 μ\mu 的 Z interval:

ME=zα/2σnME=z_{\alpha/2}\frac{\sigma}{\sqrt n}

影響因素:

  • Population Variability σ\sigma
    • σ\sigma 越小，interval 越窄。
  • Sample Size nn
    • nn 越大，margin of error 越小。
  • Confidence Level
    • Confidence level 越高，需要更大的 critical value。

Given Margin of Error，求最小 Sample Size

若希望 margin of error 不超過 mm: zα/2σn≤mz_{\alpha/2}\frac{\sigma}{\sqrt n}\le m

整理: n≥(zα/2σm)2n\ge\left(\frac{z_{\alpha/2}\sigma}{m}\right)^2

求最小 sample size 時，最後一定要 round up。

Sample Size 與 Margin of Error

由 ME=zα/2σnME=z_{\alpha/2}\frac{\sigma}{\sqrt n}

可知 ME∝1nME\propto\frac{1}{\sqrt n}

因此 sample size 增加時，margin of error 下降，但不是線性下降。

例如想把 margin of error 縮成原本的一半，需要將 sample size 增加到約 4 倍。

Confidence Interval for Population Proportion pp

假設: Xi∼iidBernoulli(p)X_i\overset{iid}{\sim}Bernoulli(p)

  • Sample proportion: p^=1n∑i=1nXi\hat p=\frac{1}{n}\sum_{i=1}^{n}X_i
  • E(p^)=pE(\hat p)=p
  • Var(p^)=p(1−p)nVar(\hat p)=\frac{p(1-p)}{n}
    • 這裡的變異數是 XiX_i 的，而不是總和的變異數

當 nn 很大，由 CLT: p^−pp(1−p)/n≈N(0,1)\frac{\hat p-p}{\sqrt{p(1-p)/n}}\approx N(0,1)

Approximated Z Interval for pp

因為真正的 pp 未知，因此在 standard error 中使用 p^\hat p 代替。

(1−α)100%(1-\alpha)100\% confidence interval:

p^±zα/2p^(1−p^)n\hat p\pm z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}}

也就是: [p^−zα/2p^(1−p^)n, p^+zα/2p^(1−p^)n]\left[\hat p-z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}},\ \hat p+z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}}\right]

Standard error: SEp^=p^(1−p^)nSE_{\hat p}=\sqrt{\frac{\hat p(1-\hat p)}{n}}

Margin of error: ME=zα/2p^(1−p^)nME=z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}}

T Distribution

若 population standard deviation σ\sigma 未知，使用 sample standard deviation: S2=∑i=1n(Xi−Xˉ)2n−1S^2=\frac{\sum_{i=1}^{n}(X_i-\bar X)^2}{n-1} 代替 σ2\sigma^2。

注意 sample variance 的 denominator: n−1n-1

此時不能再直接使用 Xˉ−μσ/n\frac{\bar X-\mu}{\sigma/\sqrt n}
而是改成 Xˉ−μS/n\frac{\bar X-\mu}{S/\sqrt n}

若 Xi∼iidN(μ,σ2)X_i\overset{iid}{\sim}N(\mu,\sigma^2)

且 σ\sigma 未知，則 Xˉ−μS/n∼Tn−1\frac{\bar X-\mu}{S/\sqrt n}\sim T_{n-1}

Degree of freedom: df=n−1df=n-1

T Interval for μ\mu

若 σ\sigma 未知，(1−α)100%(1-\alpha)100\% confidence interval 為: Xˉ±tα/2,n−1Sn\bar X\pm t_{\alpha/2,n-1}\frac{S}{\sqrt n}

也就是: [Xˉ−tα/2,n−1Sn, Xˉ+tα/2,n−1Sn]\left[\bar X-t_{\alpha/2,n-1}\frac{S}{\sqrt n},\ \bar X+t_{\alpha/2,n-1}\frac{S}{\sqrt n}\right]

Margin of error: ME=tα/2,n−1SnME=t_{\alpha/2,n-1}\frac{S}{\sqrt n}

T distribution 的 tails 比 N(0,1)N(0,1) 更 heavy。
固定 confidence level 時: tα/2,n−1>zα/2t_{\alpha/2,n-1}>z_{\alpha/2}
若 SS 與 σ\sigma 的數值接近: T interval 通常比 Z interval 寬。

當 degree of freedom 增加: Tv→N(0,1)T_v\rightarrow N(0,1)，因此 tα/2,v→zα/2t_{\alpha/2,v}\rightarrow z_{\alpha/2}
Sample size 很大時，T interval 與 Z interval 會越來越接近。

Z Interval vs. T Interval

情況 方法 結果
Normal population，σ\sigma known Z interval Exact
Normal population，σ\sigma unknown T interval Exact
Non-normal，nn large，σ\sigma known Z approximation Approximate
Non-normal，nn large，σ\sigma unknown T / Normal approximation Approximate
Non-normal，small nn，roughly symmetric T interval Approximate
Non-normal，small nn，skewed T interval 不適合 不準確

Z Interval for μ\mu vs. Z Interval for pp

Mean μ\mu Proportion pp
Point estimator Xˉ\bar X p^\hat p
SE σ/n\sigma/\sqrt n p^(1−p^)/n\sqrt{\hat p(1-\hat p)/n}
Critical value zα/2z_{\alpha/2} zα/2z_{\alpha/2}
CI Xˉ±zα/2σ/n\bar X\pm z_{\alpha/2}\sigma/\sqrt n p^±zα/2p^(1−p^)/n\hat p\pm z_{\alpha/2}\sqrt{\hat p(1-\hat p)/n}
主要條件 σ\sigma known Large nn approximation