Exploratory Data Analysis
Coefficient of Variation (CV)
變異係數
- CV=XˉS×100%
- S: standard deviation
- Xˉ: mean
- Unitless (無單位)
- 適合比較不同單位或不同數值尺度的資料
- CV 越大,表示相對變異程度越大
資料進行線性轉換: X∗=a+bX
得到 CV∗=a+bXˉbS
若 a=0: CV∗=CV
Categorical Data 圖表
- Side-by-side Bar Plot: 比較兩個 categorical variables
- Pie Chart: 各類別占整體的比例
- Bar Chart: 可依特定順序排列、方便比較各 category 的大小
Numerical Data 圖表
- Histogram
- X-axis: 將數值切成多個 intervals / classes
- Y-axis: 每個區間中的 frequency 或 count
- Class width 可使用軟體預設,也可自行指定
Stem-leaf Plot (莖葉圖)
- Stem 的選擇類似 histogram 的 class width
- Split: 若 leaf 太長,可以將一個 stem 拆成兩列
Boxplot
- Box 上/下緣: Q3/Q1
- Box 長度: IQR=Q3−Q1
- 粗線為 median
- Inner Fence
- f1=Q1−1.5IQR
- f3=Q3+1.5IQR
- Outer Fence
- F1=Q1−2(1.5IQR)=Q1−3IQR
- F3=Q3+2(1.5IQR)=Q3+3IQR
- median 位於 box 中央附近: data 較接近 symmetric
- median 明顯偏向一側: data 可能 skewed
- Histogram: 看完整分布形狀
- Boxplot: 看位置、變異與群體比較
Cumulative Distribution Function
CDF
F(x)=Pr(X≤x)
- Step function
- Right continuous (右連續)
Probability Theory
Set Theory
Sample Space S
Empty Set ϕ
Union A∪B
Intersection A∩B
Mutually Exclusive (互斥) A∩B=ϕ
Axioms of Probability
- P(S)=1
- P(A)≥0
- 若 A1,A2,… mutually exclusive
- P(A1∪A2∪⋯)=P(A1)+P(A2)+⋯
Addition Rule
對任意兩事件: P(A∪B)=P(A)+P(B)−P(A∩B)
若 A、B 互斥: P(A∩B)=0
所以: P(A∪B)=P(A)+P(B)
P(A∪B∪C)=P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B∩C)+P(A∩B∩C)
Conditional Probability
在 B 已經發生的條件下,A 發生的機率: P(A∣B)=P(B)P(A∩B)
Independence
- P(A∣B)=P(A)
- P(B∣A)=P(B)
- P(A∩B)=P(A)P(B)
Mutually Exclusive vs. Independent
Mutually Exclusive: P(A∩B)=0
Independent: P(A∩B)=P(A)P(B)
若 A、B mutually exclusive 且 P(A)>0,P(B)>0
則 P(A∣B)=P(B)P(A∩B)=0
但 P(A)>0,因此: P(A∣B)=P(A)
互斥事件不可能獨立,空集合為例外。
Association
Positive Association: P(B∣A)>P(B)
Negative Association: P(B∣A)<P(B)
Two-way Table
|
B |
Bc |
Total |
| A |
A∩B |
A∩Bc |
A |
| Ac |
Ac∩B |
Ac∩Bc |
Ac |
| Total |
B |
Bc |
1 |
Pairwise Independence vs. Mutual Independence
Pairwise independent 不代表所有事件 mutually independent