Continuous Random Variables
Probability Density Function (PDF)
對 continuous random variable X,probability density function 記為 f(x)。
區間機率由 density curve 下方的面積計算:
P(a≤X≤b)=∫abf(x)dx
∫−∞∞f(x)dx=1
Cumulative Distribution Function (CDF)
對 continuous random variable:
F(x)=∫−∞xf(u)du
PDF 與 CDF 的關係:
f(x)=dxdF(x)
單點機率為 0
若 X 為 continuous random variable: P(X=a)=0
Continuous distribution 計算區間機率時,不必在意端點是否有等號
Important Parameters
Mean: μ=E(X)=∫−∞∞xf(x)dx
- Quartiles:
- ∫−∞Q1f(x)dx=41
- ∫−∞Mf(x)dx=21
- ∫−∞Q3f(x)dx=43
Mode: 使 probability density function 最高的位置
- kth Moment: E(Xk)=∫−∞∞xkf(x)dx
Variance:
- 積分形式: Var(X)=∫−∞∞(x−μ)2f(x)dx
- 常用計算式: Var(X)=E(X2)−[E(X)]2=∫−∞∞x2f(x)dx−μ2
Uniform Distribution
若: X∼U(a,b)
- PDF: f(x)=⎩⎪⎨⎪⎧b−a1,0,a≤x≤botherwise
- Mean: E(X)=2a+b
- Variance: Var(X)=12(b−a)2
因此 ∣b−a∣ 越大,distribution 越分散。
若: U∼U(0,1)
則在 0≤u≤1 時: f(u)=1
CDF:
P(U≤u)=⎩⎪⎪⎨⎪⎪⎧0,u,1,u<00≤u≤1u>1
Normal Distribution
若: X∼N(μ,σ2)
則:
- E(X)=μ
- Var(X)=σ2
- PDF: f(x)=2πσ21exp(−2σ2(x−μ)2)
重要性質:
Normal distribution = Gaussian distribution
- 以 x=μ 為中心對稱
- μ 控制中心位置
- σ2 控制分散程度
- Mean=Median=Mode=μ
Standard Normal Distribution
Z∼N(0,1)
因此:
- E(Z)=0
- Var(Z)=1
- PDF: f(z)=2π1e−z2/2
- 標準常態的 CDF 通常記為: Φ(z)=P(Z≤z)
Z table 就是在查: P(Z≤z)
Standardization
若: X∼N(μ,σ2)
則: Z=σX−μ∼N(0,1)
所以:
P(a≤X≤b)=P(σa−μ≤Z≤σb−μ)
先標準化,接著查 Z table
常見題型
- Type 1: 給 Cutoff,求 Probability
- X → standardize → Z → 查表 → probability
- P(a<X<b)=Φ(σb−μ)−Φ(σa−μ)
- Type 2: 給 Probability,求 Cutoff
- probability → 查 Z table 找 z → 換回 X
- 由: z=σx−μ,得到: x=μ+zσ
- 絕對值型: P(∣X−μ∣<a)
- 先改寫: P(−a<X−μ<a),再 standardize: P(−σa<Z<σa)
做題前要先確認題目的 notation。第二個參數代表 variance 還是 standard deviation
Quartiles of a Normal Distribution
若要求 Q1: P(X<Q1)=0.25
standardize: P(Z<σQ1−μ)=0.25
找到對應的 z0.25 後: Q1=μ+z0.25σ
同理: Q3=μ+z0.75σ
因 normal distribution 對稱: z0.25=−z0.75
Log-normal Distribution
不考
若: X>0
且: log(X)=Y∼N(μ,σ2)
則可將 log-normal probability 轉成 normal probability:
P(a<X<b)=P(loga<Y<logb)
再進行 standardization。
Exponential Distribution
不考
若 T 為 Poisson process 中等待第一個 event 的時間,rate 為 λ:
- PDF: f(t)=λe−λt,t>0
- CDF: F(t)=1−e−λt
- Survival function: P(T>t)=e−λt
- Mean: E(T)=λ1
- Variance: Var(T)=λ21
統整
| 項目 |
Discrete |
Continuous |
| Probability function |
PMF P(X=x) |
PDF f(x) |
| 單點機率 |
可大於 0 |
P(X=x)=0 |
| 區間機率 |
機率相加 |
面積 / 積分 |
| 累積機率 |
Summation |
Integration |
| Mean |
∑xP(X=x) |
∫xf(x)dx |
| Variance |
Summation |
Integration |
|
Uniform |
Normal |
| 記號 |
U(a,b) |
N(μ,σ2) |
| Shape |
Rectangle |
Bell-shaped |
| Symmetric |
Yes |
Yes |
| Mean |
(a+b)/2 |
μ |
| Variance |
(b−a)2/12 |
σ2 |
| Support |
[a,b] |
(−∞,∞) |