Continuous Random Variables

Probability Density Function (PDF)

對 continuous random variable XX,probability density function 記為 f(x)f(x)。

區間機率由 density curve 下方的面積計算:

P(a≤X≤b)=∫abf(x) dxP(a\le X\le b)=\int_a^b f(x)\,dx

∫−∞∞f(x) dx=1\int_{-\infty}^{\infty}f(x)\,dx=1

Cumulative Distribution Function (CDF)

對 continuous random variable:

F(x)=∫−∞xf(u) duF(x)=\int_{-\infty}^{x}f(u)\,du

PDF 與 CDF 的關係:

f(x)=dF(x)dxf(x)=\frac{dF(x)}{dx}

單點機率為 0

若 XX 為 continuous random variable: P(X=a)=0P(X=a)=0

Continuous distribution 計算區間機率時,不必在意端點是否有等號

Important Parameters

  • Mean: μ=E(X)=∫−∞∞xf(x) dx\mu=E(X)=\int_{-\infty}^{\infty}xf(x)\,dx
  • Quartiles:
    • ∫−∞Q1f(x) dx=14\int_{-\infty}^{Q_1}f(x)\,dx=\frac14
    • ∫−∞Mf(x) dx=12\int_{-\infty}^{M}f(x)\,dx=\frac12
    • ∫−∞Q3f(x) dx=34\int_{-\infty}^{Q_3}f(x)\,dx=\frac34
  • Mode: 使 probability density function 最高的位置
  • kth Moment: E(Xk)=∫−∞∞xkf(x) dxE(X^k)=\int_{-\infty}^{\infty}x^kf(x)\,dx
  • Variance:
    • 積分形式: Var(X)=∫−∞∞(x−μ)2f(x) dxVar(X)=\int_{-\infty}^{\infty}(x-\mu)^2f(x)\,dx
    • 常用計算式: Var(X)=E(X2)−[E(X)]2=∫−∞∞x2f(x) dx−μ2Var(X)=E(X^2)-[E(X)]^2=\int_{-\infty}^{\infty}x^2f(x)\,dx-\mu^2

Uniform Distribution

若: X∼U(a,b)X\sim U(a,b)

  • PDF: f(x)={1b−a,a≤x≤b0,otherwisef(x)=\begin{cases}\dfrac{1}{b-a}, & a\le x\le b\\ 0, & \text{otherwise}\end{cases}
  • Mean: E(X)=a+b2E(X)=\frac{a+b}{2}
  • Variance: Var(X)=(b−a)212Var(X)=\frac{(b-a)^2}{12}

因此 ∣b−a∣|b-a| 越大,distribution 越分散。


Uniform(0,1)

若: U∼U(0,1)U\sim U(0,1)

則在 0≤u≤10\le u\le1 時: f(u)=1f(u)=1

CDF:

P(U≤u)={0,u<0u,0≤u≤11,u>1P(U\le u)=\begin{cases}0, & u<0\\u, & 0\le u\le1\\1, & u>1\end{cases}

Normal Distribution

若: X∼N(μ,σ2)X\sim N(\mu,\sigma^2)

則:

  • E(X)=μE(X)=\mu
  • Var(X)=σ2Var(X)=\sigma^2
  • PDF: f(x)=12πσ2exp⁡(−(x−μ)22σ2)f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)

重要性質:

  • Normal distribution = Gaussian distribution
  • 以 x=μx=\mu 為中心對稱
  • μ\mu 控制中心位置
  • σ2\sigma^2 控制分散程度
  • Mean=Median=Mode=μMean=Median=Mode=\mu

Standard Normal Distribution

Z∼N(0,1)Z\sim N(0,1)

因此:

  • E(Z)=0E(Z)=0
  • Var(Z)=1Var(Z)=1
  • PDF: f(z)=12πe−z2/2f(z)=\frac{1}{\sqrt{2\pi}}e^{-z^2/2}
  • 標準常態的 CDF 通常記為: Φ(z)=P(Z≤z)\Phi(z)=P(Z\le z)
    • Z table 就是在查: P(Z≤z)P(Z\le z)

Standardization

若: X∼N(μ,σ2)X\sim N(\mu,\sigma^2)

則: Z=X−μσ∼N(0,1)Z=\frac{X-\mu}{\sigma}\sim N(0,1)

所以:

P(a≤X≤b)=P(a−μσ≤Z≤b−μσ)P(a\le X\le b)=P\left(\frac{a-\mu}{\sigma}\le Z\le\frac{b-\mu}{\sigma}\right)

先標準化,接著查 Z table

常見題型

  • Type 1: 給 Cutoff,求 Probability
    • X → standardize → Z → 查表 → probability
    • P(a<X<b)=Φ(b−μσ)−Φ(a−μσ)P(a<X<b)=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right)
  • Type 2: 給 Probability,求 Cutoff
    • probability → 查 Z table 找 z → 換回 X
    • 由: z=x−μσz=\frac{x-\mu}{\sigma},得到: x=μ+zσx=\mu+z\sigma
  • 絕對值型: P(∣X−μ∣<a)P(|X-\mu|<a)
    • 先改寫: P(−a<X−μ<a)P(-a<X-\mu<a),再 standardize: P(−aσ<Z<aσ)P\left(-\frac{a}{\sigma}<Z<\frac{a}{\sigma}\right)

做題前要先確認題目的 notation。第二個參數代表 variance 還是 standard deviation

Quartiles of a Normal Distribution

若要求 Q1Q_1: P(X<Q1)=0.25P(X<Q_1)=0.25

standardize: P(Z<Q1−μσ)=0.25P\left(Z<\frac{Q_1-\mu}{\sigma}\right)=0.25

找到對應的 z0.25z_{0.25} 後: Q1=μ+z0.25σQ_1=\mu+z_{0.25}\sigma

同理: Q3=μ+z0.75σQ_3=\mu+z_{0.75}\sigma

因 normal distribution 對稱: z0.25=−z0.75z_{0.25}=-z_{0.75}

Log-normal Distribution

不考

若: X>0X>0

且: log⁡(X)=Y∼N(μ,σ2)\log(X)=Y\sim N(\mu,\sigma^2)

則可將 log-normal probability 轉成 normal probability:

P(a<X<b)=P(log⁡a<Y<log⁡b)P(a<X<b)=P(\log a<Y<\log b)

再進行 standardization。


Exponential Distribution

不考

若 TT 為 Poisson process 中等待第一個 event 的時間,rate 為 λ\lambda:

  • PDF: f(t)=λe−λt,t>0f(t)=\lambda e^{-\lambda t},\quad t>0
  • CDF: F(t)=1−e−λtF(t)=1-e^{-\lambda t}
  • Survival function: P(T>t)=e−λtP(T>t)=e^{-\lambda t}
  • Mean: E(T)=1λE(T)=\frac{1}{\lambda}
  • Variance: Var(T)=1λ2Var(T)=\frac{1}{\lambda^2}

統整

項目 Discrete Continuous
Probability function PMF P(X=x)P(X=x) PDF f(x)f(x)
單點機率 可大於 0 P(X=x)=0P(X=x)=0
區間機率 機率相加 面積 / 積分
累積機率 Summation Integration
Mean ∑xP(X=x)\sum xP(X=x) ∫xf(x)dx\int xf(x)dx
Variance Summation Integration

Uniform Normal
記號 U(a,b)U(a,b) N(μ,σ2)N(\mu,\sigma^2)
Shape Rectangle Bell-shaped
Symmetric Yes Yes
Mean (a+b)/2(a+b)/2 μ\mu
Variance (b−a)2/12(b-a)^2/12 σ2\sigma^2
Support [a,b][a,b] (−∞,∞)(-\infty,\infty)