Exploratory Data Analysis

Coefficient of Variation (CV)

變異係數

  • CV=SXˉ×100%CV=\frac{S}{\bar X}\times 100\%
    • SS: standard deviation
    • Xˉ\bar X: mean
  • Unitless (無單位)
  • 適合比較不同單位或不同數值尺度的資料
  • CV 越大,表示相對變異程度越大

資料進行線性轉換: X∗=a+bXX^*=a+bX

得到 CV∗=bSa+bXˉCV^*=\frac{bS}{a+b\bar X}
若 a≠0a\neq0: CV∗≠CVCV^*\neq CV

Categorical Data 圖表

  • Side-by-side Bar Plot: 比較兩個 categorical variables
  • Pie Chart: 各類別占整體的比例
  • Bar Chart: 可依特定順序排列、方便比較各 category 的大小

Numerical Data 圖表

  • Histogram
    • X-axis: 將數值切成多個 intervals / classes
    • Y-axis: 每個區間中的 frequency 或 count
    • Class width 可使用軟體預設,也可自行指定
  • Stem-leaf Plot (莖葉圖)
    • Stem 的選擇類似 histogram 的 class width
    • Split: 若 leaf 太長,可以將一個 stem 拆成兩列
      • ex: 0-4、5-9

Boxplot

  • Box 上/下緣: Q3/Q1Q_3/Q_1
  • Box 長度: IQR=Q3−Q1IQR=Q_3-Q_1
  • 粗線為 median
  • Inner Fence
    • f1=Q1−1.5IQRf_1=Q_1-1.5IQR
    • f3=Q3+1.5IQRf_3=Q_3+1.5IQR
  • Outer Fence
    • F1=Q1−2(1.5IQR)=Q1−3IQRF_1=Q_1-2(1.5IQR)=Q_1-3IQR
    • F3=Q3+2(1.5IQR)=Q3+3IQRF_3=Q_3+2(1.5IQR)=Q_3+3IQR
  • median 位於 box 中央附近: data 較接近 symmetric
  • median 明顯偏向一側: data 可能 skewed

  • Histogram: 看完整分布形狀
  • Boxplot: 看位置、變異與群體比較

Cumulative Distribution Function

CDF

F(x)=Pr(X≤x)F(x)=Pr(X\le x)

  • Step function
  • Right continuous (右連續)

Probability Theory

Set Theory

  • Sample Space SS
  • Empty Set ϕ\phi
  • Union A∪BA\cup B
  • Intersection A∩BA\cap B
  • Mutually Exclusive (互斥) A∩B=ϕA\cap B=\phi

Axioms of Probability

  • P(S)=1P(S)=1
  • P(A)≥0P(A)\ge0
  • 若 A1,A2,…A_1,A_2,\dots mutually exclusive
    • P(A1∪A2∪⋯ )=P(A1)+P(A2)+⋯P(A_1\cup A_2\cup\cdots)=P(A_1)+P(A_2)+\cdots

Addition Rule

對任意兩事件: P(A∪B)=P(A)+P(B)−P(A∩B)P(A\cup B)=P(A)+P(B)-P(A\cap B)

若 A、B 互斥: P(A∩B)=0P(A\cap B)=0
所以: P(A∪B)=P(A)+P(B)P(A\cup B)=P(A)+P(B)

P(A∪B∪C)=P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B∩C)+P(A∩B∩C)P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(A\cap B)-P(A\cap C)-P(B\cap C)+P(A\cap B\cap C)

Conditional Probability

在 B 已經發生的條件下,A 發生的機率: P(A∣B)=P(A∩B)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}

  • P(B)≠0P(B)\neq0

  • P(A∩B)=P(A∣B)P(B)P(A\cap B)=P(A\mid B)P(B)

Independence

  • P(A∣B)=P(A)P(A\mid B)=P(A)
  • P(B∣A)=P(B)P(B\mid A)=P(B)
  • P(A∩B)=P(A)P(B)P(A\cap B)=P(A)P(B)

Mutually Exclusive vs. Independent

  • Mutually Exclusive: P(A∩B)=0P(A\cap B)=0
  • Independent: P(A∩B)=P(A)P(B)P(A\cap B)=P(A)P(B)

若 A、B mutually exclusive 且 P(A)>0,P(B)>0P(A)>0, P(B)>0

則 P(A∣B)=P(A∩B)P(B)=0P(A\mid B)=\frac{P(A\cap B)}{P(B)}=0

但 P(A)>0P(A)>0,因此: P(A∣B)≠P(A)P(A\mid B)\neq P(A)

互斥事件不可能獨立,空集合為例外。

Association

  • Positive Association: P(B∣A)>P(B)P(B\mid A)>P(B)
    • 在 A 發生的群體中,B 的比例比整體更高
  • Negative Association: P(B∣A)<P(B)P(B\mid A)<P(B)
    • A 發生時,B 反而較不容易發生

Two-way Table

B BcB^c Total
A A∩BA\cap B A∩BcA\cap B^c A
AcA^c Ac∩BA^c\cap B Ac∩BcA^c\cap B^c AcA^c
Total B BcB^c 1

Pairwise Independence vs. Mutual Independence

Pairwise independent 不代表所有事件 mutually independent