Inequalities & Point Estimation

Normal Approximation to Binomial Distribution

若 $Y\sim Binomial(n,p)$

則:

$E(Y)=np$
$Var(Y)=np(1-p)$
$SD(Y)=\sqrt{np(1-p)}$

Normal approximation: $Y\approx N(np,np(1-p))$
標準化: $Z=\frac{Y-np}{\sqrt{np(1-p)}}$

$P(Y>a)\approx P\left(Z>\frac{a-np}{\sqrt{np(1-p)}}\right)$

Markov Inequality

Markov inequality 適用於 positive random variable。

若 $X>0$ 且 $a>0$ ，則 $P(X>a)\le\frac{E(X)}{a}$

重點:

只需要 $X$ 為 positive random variable。
只需要知道 $E(X)$ 。
不需要完整 distribution。
提供 tail probability 的 upper bound。

Chebyshev Inequality

Chebyshev inequality 適用於任何具有 finite mean 與 variance 的 random variable。

若 $E(X)=\mu$ 、 $Var(X)=\sigma^2$ ，則對 $k>0$ : $P(|X-\mu|>k)\le\frac{\sigma^2}{k^2}$

等價地: $P(|X-\mu|\le k)\ge1-\frac{\sigma^2}{k^2}$

Standard Deviation Form

若距離寫成 $k$ 個 standard deviations: $P(|X-\mu|\ge k\sigma)\le\frac{1}{k^2}$

因此: $P(|X-\mu|<k\sigma)\ge1-\frac{1}{k^2}$

Chebyshev Inequality for Sample Mean

若 $X_1,\ldots,X_n$ 為 iid sample，且:

$E(X_i)=\mu$
$Var(X_i)=\sigma^2$

因為 $Var(\bar X)=\frac{\sigma^2}{n}$
所以: $P(|\bar X-\mu|>k)\le\frac{\sigma^2}{nk^2}$

等價地: $P(|\bar X-\mu|\le k)\ge1-\frac{\sigma^2}{nk^2}$

Estimation Error

$\bar X$ 是 $\mu$ 的 estimator，因此 $|\bar X-\mu|$ 可視為 estimation error。

事件 $|\bar X-\mu|\ge k$ 表示 estimation error 至少達到事先設定的標準 $k$ 。

Chebyshev inequality 給出: $P(|\bar X-\mu|\ge k)\le\frac{\sigma^2}{nk^2}$

Chebyshev Upper Bound 的三個因素

由 $\frac{\sigma^2}{nk^2}$ 可以看出三個重要因素。

$k$ $k$ : 人為設定的標準
- $k$ 小，標準較嚴格； $k$ 大，標準較寬鬆
- $k\uparrow~\Rightarrow\frac{\sigma^2}{nk^2}\downarrow$
$\sigma^2$ $σ^{2}$ : Population Variation
- $\sigma^2$ 越小，population 本身變異越小
- $\sigma^2\downarrow~\Rightarrow\frac{\sigma^2}{nk^2}\downarrow$
$n$ $n$ : Sample Size
- $n\uparrow\Rightarrow\frac{\sigma^2}{nk^2}\downarrow$

small σ²/large n/large k 較容易讓 estimation error 保持在標準內

Tail Probability under Normality

Normal Population

若 $X_i\overset{iid}{\sim}N(\mu,\sigma^2)$

則任何 $n$ : $\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right)$

所以 $P(|\bar X-\mu|>k)=P\left(|Z|>\frac{k}{\sigma/\sqrt n}\right)$

Non-normal Population but Large Sample

若 population 不是 Normal，但 $n$ 很大，由 CLT: $\bar X\approx N\left(\mu,\frac{\sigma^2}{n}\right)$

所以 $P(|\bar X-\mu|>k)\approx P\left(|Z|>\frac{k}{\sigma/\sqrt n}\right)$

Statistical Inference

以下不考

Statistical inference 主要分成:

Estimation
- Point estimation
- Interval estimation
Hypothesis testing

Parameter 一般記為 $\theta$ ，例如 population mean 可寫成 $\theta=\mu$ 。

Point Estimator

若 $\hat\theta$ 是 sample $(X_1,\ldots,X_n)$ 的函數，且用來估計未知 parameter $\theta$ ，則稱 $\hat\theta$ 為 point estimator。

例如:

$\bar X$ 估計 $\mu$
$S^2$ 估計 $\sigma^2$

Bias、Variance、MSE

$Bias(\hat\theta)=E(\hat\theta)-\theta$ $B i a s (\hat{θ}) = E (\hat{θ}) - θ$
- 若 $E(\hat\theta)=\theta$ ，則稱為 unbiased estimator。
$Var(\hat\theta)$ 越小，通常代表 estimation precision 越高。
$MSE(\hat\theta)=E[(\hat\theta-\theta)^2]=Bias(\hat\theta)^2+Var(\hat\theta)$ $M S E (\hat{θ}) = E [(\hat{θ} - θ)^{2}] = B i a s (\hat{θ})^{2} + V a r (\hat{θ})$
- 所以 MSE 同時考慮 bias 與 variance。