From Probability to Statistics

Random Sample

若: X1,…,XnX_1,\ldots,X_n 形成 random sample，講義假設它們為 iid，且:

  • E(Xi)=μE(X_i)=\mu
  • Var(Xi)=σ2Var(X_i)=\sigma^2

iid:

  • identically distributed: 每個 Xi 都有相同 distribution
  • independently distributed: Xi 與 Xj 彼此 independent, i ≠ j

Statistical Inference

  • Probability: parameters 已知，求 probability
  • Statistics: parameters 未知，用 sample 推論 parameters

Sample Mean

Sample mean: Xˉ=X1+⋯+Xnn\bar X=\frac{X_1+\cdots+X_n}{n}

Xˉ\bar X 本身也是 random variable。

不同 sample 會得到不同的 sample mean。

Xˉ\bar X 用來估計 population mean μ\mu，所以是 μ\mu 的 point estimator。

Expected Value of Sample Mean

若 X1,…,XnX_1,\ldots,X_n iid，且: E(Xi)=μE(X_i)=\mu

則: E(Xˉ)=E(X1+⋯+Xnn)=1n[E(X1)+⋯+E(Xn)]E(\bar X)=E\left(\frac{X_1+\cdots+X_n}{n}\right)=\frac{1}{n}\left[E(X_1)+\cdots+E(X_n)\right]

因此: E(Xˉ)=μE(\bar X)=\mu

也就是 sample mean 的中心位置仍然在 population mean。

Variance of Sample Mean

因為 XiX_i 彼此 independent: Cov(Xi,Xj)=0(i≠j)Cov(X_i,X_j)=0\quad(i\neq j)

所以: Var(Xˉ)=Var(X1+⋯+Xnn)=1n2(nσ2)Var(\bar X)=Var\left(\frac{X_1+\cdots+X_n}{n}\right)=\frac{1}{n^2}(n\sigma^2)

因此: Var(Xˉ)=σ2nVar(\bar X)=\frac{\sigma^2}{n}

Standard Error

Sample mean 的 standard deviation: σXˉ=Var(Xˉ)\sigma_{\bar X}=\sqrt{Var(\bar X)}

因此: σXˉ=σn\sigma_{\bar X}=\frac{\sigma}{\sqrt n}

這就是 sample mean 的 Standard Error (SE)。

當 nn 增加:

  • Var(Xˉ)=σ2n↓Var(\bar X)=\frac{\sigma^2}{n}\downarrow
  • SE(Xˉ)=σn↓SE(\bar X)=\frac{\sigma}{\sqrt n}\downarrow

所以 sample mean 會越集中在 μ\mu 附近。

Sampling Distribution

從 population 抽取 size nn 的 sample 並計算: Xˉn\bar X_n

若重複抽樣很多次: Xˉn(1),Xˉn(2),…,Xˉn(R)\bar X_n^{(1)},\bar X_n^{(2)},\ldots,\bar X_n^{(R)}

當: R→∞R\rightarrow\infty，這些 sample means 的 distribution 趨近於 Xˉn\bar X_n 的 sampling distribution。

Sample Mean from a Normal Population

若: Xi∼iidN(μ,σ2)X_i\overset{iid}{\sim}N(\mu,\sigma^2)

則對任何 sample size nn: Xˉ∼N(μ,σ2n)\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right)

等價地: Xˉ−μσ/n∼N(0,1)\frac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1)

Normal random variables 的 linear combination 仍為 Normal。

Single Observation vs. Sample Mean

  • Single Observation: Z=Xi−μσZ=\frac{X_i-\mu}{\sigma}
  • Sample Mean: Z=Xˉ−μσ/nZ=\frac{\bar X-\mu}{\sigma/\sqrt n}

Mean Probability 題型

若: Xi∼iidN(μ,σ2)X_i\overset{iid}{\sim}N(\mu,\sigma^2)

要求: P(Xˉ>a)P(\bar X>a)

先使用: Xˉ∼N(μ,σ2n)\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right)

再標準化: P(Xˉ>a)=P(Z>a−μσ/n)P(\bar X>a)=P\left(Z>\frac{a-\mu}{\sigma/\sqrt n}\right)

最後查 Z table。

若為雙尾: P(Xˉ<a or Xˉ>b)P(\bar X<a\text{ or }\bar X>b)

則拆成: P(Xˉ<a)+P(Xˉ>b)P(\bar X<a)+P(\bar X>b)

Sample Mean from a Non-normal Population

非期中範圍

若 population 不是 Normal，Xˉ\bar X 的 exact distribution 通常依 parent population 而定。

當 nn 小時: Xˉ\bar X 不一定呈現 Normal distribution。

Law of Large Numbers (LLN)

Xˉ→μas n→∞\bar X\rightarrow\mu\quad\text{as }n\rightarrow\infty

因為: Var(Xˉ)=σ2nVar(\bar X)=\frac{\sigma^2}{n}

且: n→∞⇒Var(Xˉ)→0n\rightarrow\infty\Rightarrow Var(\bar X)\rightarrow 0

所以 Xˉ\bar X 越來越集中在 μ\mu。

Sample average 會隨 sample size 增加而趨近 population mean。

LLN 可以用 sample average 近似 expected value:

1n∑i=1nXi≈E(X)\frac{1}{n}\sum_{i=1}^{n}X_i\approx E(X)

更一般地: 1n∑i=1ng(Xi)≈E[g(X)]\frac{1}{n}\sum_{i=1}^{n}g(X_i)\approx E[g(X)]

nn 越大，approximation 越準。

Central Limit Theorem (CLT)

中央極限定理

若 random sample 滿足:

  • E(Xi)=μE(X_i)=\mu
  • Var(Xi)=σ2Var(X_i)=\sigma^2

則當 nn 很大: Xˉ≈N(μ,σ2n)\bar X\approx N\left(\mu,\frac{\sigma^2}{n}\right)

等價地: Xˉ−μσ/n≈N(0,1)\frac{\bar X-\mu}{\sigma/\sqrt n}\approx N(0,1)

即使 parent population 不是 Normal，只要 sample size 增加，sample mean 的 distribution 會逐漸接近 Normal。

Normal Population vs. CLT

  • Normal Population
    • Xi∼N(μ,σ2)X_i\sim N(\mu,\sigma^2)
    • 則 Xˉ∼N(μ,σ2n)\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right)，對 任何 nn 都成立。
  • Non-normal Population
    • Xˉ≈N(μ,σ2n)\bar X\approx N\left(\mu,\frac{\sigma^2}{n}\right)，需要 nn 夠大。

Total 與 Average

若題目問總和: X1+⋯+XnX_1+\cdots+X_n

可利用: Xˉ=X1+⋯+Xnn\bar X=\frac{X_1+\cdots+X_n}{n}

因此: P(X1+⋯+Xn<a)P(X_1+\cdots+X_n<a)

可以改寫為: P(Xˉ<an)P\left(\bar X<\frac{a}{n}\right)

LLN vs. CLT

  • LLN
    • Xˉn→μ\bar X_n\rightarrow\mu
    • 描述: Sample mean 最後會靠近哪個常數。
    • convergence to a constant
  • CLT
    • Xˉn−μσ/n→N(0,1)\frac{\bar X_n-\mu}{\sigma/\sqrt n}\rightarrow N(0,1)
    • 描述: Sample mean 在 μ\mu 附近如何波動。
    • convergence to a distribution

Normal Approximation to Binomial

若: Y∼Binomial(n,p)Y\sim Binomial(n,p)

則:

  • E(Y)=npE(Y)=np
  • Var(Y)=np(1−p)Var(Y)=np(1-p)

當 np≥10np\ge10 且 n(1−p)≥10n(1-p)\ge10:

可以用 Normal 近似: Y≈N(np,np(1−p))Y\approx N\left(np,np(1-p)\right)

標準化: Z=Y−npnp(1−p)Z=\frac{Y-np}{\sqrt{np(1-p)}}

因此: P(a≤Y≤b)≈P(a−npnp(1−p)≤Z≤b−npnp(1−p))P(a\le Y\le b)\approx P\left(\frac{a-np}{\sqrt{np(1-p)}}\le Z\le\frac{b-np}{\sqrt{np(1-p)}}\right)

講義指出:

  • p 接近 0.5: Binomial 較對稱，n 不必非常大
  • p 接近 0 或 1: Binomial 很 skewed，n 要更大

判斷條件:

  • np≥10np\ge10
  • n(1−p)≥10n(1-p)\ge10

Poisson vs. Normal Approximation to Binomial

對: Y∼Binomial(n,p)Y\sim Binomial(n,p)

  • Poisson Approximation
    • n large，p small
    • rare events
    • 使用: λ=np\lambda=np
  • Normal Approximation
    • 條件: np≥10np\ge10 且 n(1−p)≥10n(1-p)\ge10

Sample Proportion 與 CLT

若: Bi∼Bernoulli(p)B_i\sim Bernoulli(p)

sample proportion: p^=Bˉ=1n∑i=1nBi\hat p=\bar B=\frac{1}{n}\sum_{i=1}^{n}B_i

由 CLT: p^≈N(p,p(1−p)n)\hat p\approx N\left(p,\frac{p(1-p)}{n}\right)

所以: p^−pp(1−p)/n≈N(0,1)\frac{\hat p-p}{\sqrt{p(1-p)/n}}\approx N(0,1)

Markov Inequality

適用於 positive random variable。

若 X>0X>0 且 a>0a>0:
P(X>a)≤E(X)aP(X>a)\le\frac{E(X)}{a}

Markov inequality 提供 tail probability 的 upper bound。

Survival Function

對 positive random variable: S(x)=P(X>x)=1−F(x)S(x)=P(X>x)=1-F(x)

講義指出: E(X)=∫0∞S(x) dxE(X)=\int_0^\infty S(x)\,dx

也就是 positive random variable 的 expected value 等於 survival function 下方的面積。

Chebyshev Inequality

適用於任何具有 finite mean 與 variance 的 random variable。

若:

  • E(X)=μE(X)=\mu
  • Var(X)=σ2Var(X)=\sigma^2

則對 k>0k>0: P(∣X−μ∣≥k)≤σ2k2P(|X-\mu|\ge k)\le\frac{\sigma^2}{k^2}

Chebyshev for Sample Mean

因為 E(Xˉ)=μE(\bar X)=\mu 且 Var(Xˉ)=σ2nVar(\bar X)=\frac{\sigma^2}{n}

所以: P(∣Xˉ−μ∣≥k)≤σ2nk2P(|\bar X-\mu|\ge k)\le\frac{\sigma^2}{nk^2}

其中 ∣Xˉ−μ∣|\bar X-\mu| 可視為 estimation error。

nn 增加時，large estimation error 的 upper bound 下降。

Markov vs. Chebyshev

Markov Chebyshev
適用 Positive RV Any RV with finite mean/variance
使用資訊 E(X)E(X) E(X)E(X)、Var(X)Var(X)
Bound P(X>a)P(X>a) P(∥X−μ∥≥k)P(\|X-\mu\|\ge k)
目的 Tail probability upper bound 偏離 mean 的 probability upper bound