L4

  • Fourier Series: 任何週期性函數都可以表示為不同頻率的正弦/餘弦函數之和
  • Fourier Transform: 非週期性函數 (曲線下範圍有限) 可表示為正弦/餘弦函數與權重函數乘積的積分
  • Frequency Domain: 指影像經過 two dimensional discrete Fourier transform 後的平面 。其目的是將信號表示為不同頻率正弦信號的線性組合
  • Unit impulse
  • Impulse train

Fourier Transform

  • Box function
    • 轉換後變為 Sinc 函數
      • sinc(x)=sin⁡xx\mathrm{sinc}(x)=\frac{\sin x}{x}
    • 函數寬度 WW 與轉換後的零點位置呈反比關係
  • Unit impulse
    • 轉換後恆為 1
  • Unit impulse at t=t0
    • 轉換後為 $e^{−j2\pi ut_0}​ = \cos(2\pi ut_0) - j\sin(2\pi ut_0) $
    • 位移導致 phase (相位) 改變
  • Impulse train
    • 轉換後仍為 Impulse train
    • 間距變為倒數 1T\frac{1}{T}

Convolution Theorem

  • 時域卷積 ↔ 頻域乘法
    • f(t)∗h(t)↔FH(μ)F(μ)f(t)*h(t) \xleftrightarrow{\mathcal{F}} H(\mu)F(\mu)
  • 頻域卷積 ↔ 時域乘法
    • f(t)h(t)↔FH(μ)∗F(μ)f(t)h(t) \xleftrightarrow{\mathcal{F}} H(\mu)*F(\mu)

C/D Converter

取樣

  • 乘上 impulse train，變成離散序列
  • 結果: 頻譜會週期性複製
  • 可以用 lowpass filter 取出原有頻譜

Aliasing

  • High frequency components of a continuous function masquerade as lower frequencies in the sampled function.
    • 高頻在 sample 之後看起來像低頻 (masquerade: 偽裝)
    • 取樣頻率不足 (1T\frac{1}{T} 間距太小會導致頻譜重疊)

Discrete Fourier Transform (DFT) of One Variable

特性:

  • 週期性
  • circular convolution: 卷積也有週期性

假設有一段離散訊號，共 MM 個 samples，每個 sample 間隔 ΔT\Delta T

  • 總時間長度: MΔTM\Delta T
  • DFT 的頻率間隔: Δu=1MΔT=1T\Delta u =\frac{1}{M\Delta T} = \frac{1}{T}
  • 頻率範圍: Ω=MΔu=1ΔT\Omega = M\Delta u = \frac{1}{\Delta T}

Discrete-time Systems

y[n]=Tx[n]y[n]=T{x[n]}

  • Memoryless System
    • y[n]y[n] 只和 x[n]x[n] 有關，與過去值無關
  • Linear System，滿足:
    • T{x1[n]​+x2[n]}=T{x1[n]​}+T{x2[n]​}T\{x_1[n]​+x_2[n]\} = T\{x_1[n]​\} + T\{x_2[n]​\}
    • T{ax[n]}=aT{x[n]​}=ay[n]T\{ax[n]\} = aT\{x[n]​\} = ay[n]
    • 範例: Accumulator System
    • 反例: w[n]=log10(∣x[n]∣)w[n] = log10(|x[n]|)
  • Time-invariant System
    • y[n]=T{x[n]}y[n] = T\{x[n]\} 則 y[n−n0]=T{x[n−n0]}y[n - n_0] = T\{x[n - n_0]\}
    • 範例: Accumulator System
    • 反例: The compressor system: y[n]=x[Mn],−∞<n<∞y[n] = x[Mn], −\infty < n < \infty
  • Causality 因果性
    • 在時間 n 的輸出，只依賴現在與過去的資料，和未來無關
    • 範例: Background-difference: y[n]=x[n]−x[n−1]y[n] = x[n] − x[n−1]
    • 反例: Forward-difference system: y[n]=x[n+1]−x[n]y[n] = x[n+1] − x[n]
  • Stability
    • Bounded input, bounded output (BIBO)
    • 若輸入有界，輸出也一定有界
    • 範例: y[n]=(x[n])2y[n] = (x[n])^2
    • 反例: Accumulator System (不會收斂)
  • Linear Time Invariant Systems (LTI)
    • A system that is both linear and time invariant
    • 把輸入設為 unit impulseδ[n]\delta [n]，此時的輸出 h[n]h[n] 稱為 impulse response
  • LTI system is completely characterized by its impulse response h[n]
    • 相當於 Convolution y[n]=x[n]∗h[n]y[n] = x[n] * h[n]

Continuous Fourier Transform of Two Variables

Aliasing in Images

  • Spatial aliasing，造成:
    • Jagged edges (鋸齒)
    • Spurious highlights (假亮點)
    • False frequency patterns (莫名紋路)
  • Temporal aliasing

兩種情況:

  • 直接縮小之後放大，造成 Aliasing
  • 縮小前先做 averaging filter (blur)
    • 對圖片的破壞比較輕
    • 高頻被移除，減少折回低頻造成 Aliasing

Moiré Patterns

對具有週期性的圖案進行取樣時可能出現

Discrete Fourier Transform of Two Variable

  • 平移不會改變 magnitude
  • 把頻譜重新排列，使 (0,0)(0,0) 移到中心
    • 因為頻譜有週期性 (Periodicity)
  • DFT/IDFT 序列中的偶函數 (even functions) 稱為 symmetric
    • we(x,y)=we(M−x,N−y)w_e(x,y) = w_e(M-x, N-y)
  • DFT/IDFT 序列中的奇函數 (odd functions) 稱為 antisymmetric
    • wo(x,y)=−wo(M−x,N−y)w_o(x,y) = -w_o(M-x, N-y)
  • 實函數 f(x,y)f(x,y) 的 Fourier transform 具有 conjugate symmetric (共軛對稱) 性質
    • F∗(u,v)=F(−u,−v)F^*(u,v) = F(-u,-v)
  • 純虛函數 f(x,y)f(x,y) 的 Fourier transform 具有 conjugate antisymmetric (共軛反對稱) 性質
    • F∗(−u,−v)=−F(u,v)F^*(-u,-v) = -F(u,v)

Fourier Spectrum and Phase Angle

Fourier transform 的結果 F(u)F(u) 為複數，可以以極座標表示

  • F(u)=∣F(u)∣ejϕ(u)=R2(u)+I2(u)F(u)=|F(u)|e^{j\phi(u)} =\sqrt{R^2(u)+I^2(u)}
  • Power spectrum (功率頻譜):
    • P(u)=∣F(u)∣2=R2(u)+I2(u)P(u) = |F(u)|^2 = R^2(u)+I^2(u)

實數函數的 Fourier transform 具有共軛對稱性

  • 它的頻譜 (spectrum) 在原點附近具有偶對稱性
  • 相位角 (phase angle) 在原點附近呈現奇對稱性
  • (b) Spectrum: 亮點在四個角落
  • © Centered Spectrum: 把低頻移動至中心
  • (d) Log 轉換後的結果

2D Convolution Theorem

  • 左: Spatial Convolution
  • 右: Circular Convolution
    • 假設所有的輸入訊號都是 Periodic
    • 虛線顯示的重複部分會造成干擾
    • 解決方式: Zero Padding
  • Zero Padding
    • 在兩個函數後面補零來避免 wraparound (循環捲積)
    • 使長度 PP 滿足 P≥A+B−1P \geq A + B − 1
    • 對兩張大小為 A×BA×B 與 C×DC×D 的影像，應補零使其變成 P×QP×Q，其中 P≥A+C−1P \geq A + C − 1，Q≥B+D−1Q \geq B + D − 1
  • Frequency Leakage
    • 由於 zero padding 可能導致高頻成分產生
    • 可以透過 windowing 或 apodization 來減少

L12

  • Activation Functions
  • Fully connected neural network
    • feedforward networks: 沒有 loop
    • Shallow neural network: 只有一個 hidden layer
    • Deep neural network: 大於一個 hidden layer

Backpropagation

LeNet

  • Weight sharing (parameter sharing)
    • 產生 Feature maps 的時候，整張圖共用相同的 weights/bias
  • Subsampling (pooling)
    • Average pooling
    • Max-pooling
    • L2 pooling
  • Pooling 之後到第二次產生 Feature maps
    • 多個 Pooled feature 進行 convolution 之後相加