考研相關文章參考資料為 wjungle 大神提供的筆記

Ch8 內積上算子

伴隨算子

定義

設 T:V→VT:V\to V 為 linear。若存在 T∗:V→VT^*:V\to V 為 linear，滿足 ⟨T(x⃗),y⃗⟩=⟨x⃗,T∗(y⃗)⟩,∀x⃗,y⃗∈V\langle T(\vec{x}),\vec{y}\rangle=\langle\vec{x},T^*(\vec{y})\rangle, \forall\vec{x},\vec{y}\in V
稱 T∗T^* 為 TT 之 adjoint operator

定理

設 T:V→VT:V\to V 為 linear，則 TT 之 adjoint T∗T^* 存在唯一

Note

⟨x⃗,T(y⃗)⟩=⟨T(y⃗),x⃗⟩‾=⟨y⃗,T∗(x⃗)⟩‾=⟨T∗(x⃗),y⃗⟩\langle\vec{x},T(\vec{y})\rangle=\overline{\langle T(\vec{y}),\vec{x}\rangle}=\overline{\langle\vec{y},T^*(\vec{x})\rangle}=\langle T^*(\vec{x}),\vec{y}\rangle

定理

設 T:V→VT:V\to V 為 linear，β\beta 為 VV 之一 orthonormal basis
則 [T∗]β=([T]β)H[T^*]_\beta=([T]_\beta)^H

定理

設 A∈Fn×nA\in F^{n\times n}，且內積為 standard inner product，則

  • ⟨Ax⃗,y⃗⟩=⟨x⃗,AHy⃗⟩\langle A\vec{x},\vec{y}\rangle=\langle\vec{x},A^H\vec{y}\rangle
  • ⟨x⃗,Ay⃗⟩=⟨AHx⃗,y⃗⟩\langle\vec{x},A\vec{y}\rangle=\langle A^H\vec{x},\vec{y}\rangle
性質

設 T,U:V→VT,U:V\to V 為 linear，c,d∈Fc,d\in F，則

  • (T±U)∗=T∗±U∗(T\pm U)^*=T^*\pm U^*
  • (cT)∗=cˉT∗(cT)^*=\bar{c}T^*
  • (cT±dU)∗=cˉT∗±dˉU∗(cT\pm dU)^*=\bar{c}T^*\pm\bar{d}U^*
  • T∗∗=TT^{**}=T
  • I∗=II^*=I
  • (TU)∗=U∗T∗(TU)^*=U^*T^*
  • 若 TT 可逆，則 T∗T^* 可逆，且 (T∗)−1=(T−1)∗(T^*)^{-1}=(T^{-1})^*
Note

λ∈Λ(T)⟹λˉ∈Λ(T∗)\lambda\in\Lambda(T)\Longrightarrow\bar{\lambda}\in\Lambda(T^*)

正規算子

定義
  • 設 T:V→VT:V\to V 為 linear，若 T∗T=TT∗T^*T=TT^*
    稱 TT 為 normal operator
  1. 設 A∈Fn×nA\in F^{n\times n}，若 AHA=AAHA^HA=AA^H
    稱 AA 為 normal matrix
Lemma

設 T:V→VT:V\to V 為 normal，則

  • ∥T(x⃗)∥=∥T∗(x⃗)∥\lVert T(\vec{x})\rVert=\lVert T^*(\vec{x})\rVert，∀x⃗∈V\forall\vec{x}\in V
  • T−cIT-cI 為 normal，∀c∈F\forall c\in F
  • T(x⃗)=λx⃗⟹T∗(x⃗)=λˉx⃗T(\vec{x})=\lambda\vec{x}\Longrightarrow T^*(\vec{x})=\bar{\lambda}\vec{x}
定理

設 T:V→VT:V\to V 為 normal，λ1,λ2∈Λ(T)\lambda_1,\lambda_2\in\Lambda(T) 且 λ1≠λ2\lambda_1\ne\lambda_2。
若 x⃗1,x⃗2\vec{x}_1,\vec{x}_2 分別為 TT 相對於 λ1,λ2\lambda_1,\lambda_2 之 eigenvector，則 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2

六大算子

全部皆為 normal

名稱 定義 eigenvalue 主對角項 行列式 λ1≠λ2\lambda_1\ne\lambda_2 對應之 eigenvectors x⃗1,x⃗2\vec{x}_1,\vec{x}_2
TT: self-adjoint
AA: Hermitian		 T∗=TT^*=T
AH=AA^H=A		 λ∈R\lambda\in\mathbb{R} aii∈Ra_{ii}\in\mathbb{R} det⁡(A)∈R\det(A)\in\mathbb{R} x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2
TT: skew self-adjoint
AA: skew-Hermitian		 T∗=−TT^*=-T
AH=−AA^H=-A		 λ=bi\lambda=bi, b∈Rb\in\mathbb{R} aii=bia_{ii}=bi det⁡(A)∈R\det(A)\in\mathbb{R} if nn is even
det⁡(A)=bi\det(A)=bi if nn is odd		 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2
TT: positive definite
AA: 正定		 ⟨T(x⃗),x⃗⟩>0\langle T(\vec{x}),\vec{x}\rangle>0, ∀x⃗≠0⃗\forall\vec{x}\ne\vec{0}
x⃗HAx⃗>0\vec{x}^HA\vec{x}>0, ∀x⃗≠0⃗\forall\vec{x}\ne\vec{0}		 λ>0\lambda>0 aii>0a_{ii}>0 det⁡(A)>0\det(A)>0 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2
TT: positive semidefinite
AA: 半正定		 ⟨T(x⃗),x⃗⟩≥0\langle T(\vec{x}),\vec{x}\rangle\geq0, ∀x⃗\forall\vec{x}
x⃗HAx⃗≥0\vec{x}^HA\vec{x}\geq0, ∀x⃗\forall\vec{x}		 λ≥0\lambda\geq0 aii≥0a_{ii}\geq0 det⁡(A)≥0\det(A)\geq0 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2
TT: unitary
AA: 么正		 T∗T=IT^*T=I
AHA=IA^HA=I		 ∣λ∣=1\lvert\lambda\rvert=1 未定 ∣det⁡(A)∣=1\lvert\det(A)\rvert=1 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2
TT: orthogonal
AA: 正交		 T∗T=IT^*T=I
ATA=IA^TA=I		 ∣λ∣=1\lvert\lambda\rvert=1 未定 det⁡(A)=±1\det(A)=\pm1 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2
定理

設 A∈Fn×nA\in F^{n\times n}，AH=AA^H=A，且 λ1,λ2∈Λ(A)\lambda_1,\lambda_2\in\Lambda(A)，λ1≠λ2\lambda_1\ne\lambda_2。若 x⃗1,x⃗2\vec{x}_1,\vec{x}_2 為 AA 相對於 λ1,λ2\lambda_1,\lambda_2 之 eigenvectors，則 x⃗1⊥x⃗2\vec{x}_1\perp\vec{x}_2

證明

由 Ax⃗1=λ1x⃗1,Ax⃗2=λ2x⃗2A\vec{x}_1=\lambda_1\vec{x}_1, A\vec{x}_2=\lambda_2\vec{x}_2
且 λ1,λ2∈R\lambda_1,\lambda_2\in\mathbb{R}，得 λ1⟨x⃗1,x⃗2⟩=⟨Ax⃗1,x⃗2⟩=⟨x⃗1,AHx⃗2⟩=⟨x⃗1,Ax⃗2⟩=λ2⟨x⃗1,x⃗2⟩\lambda_1\langle\vec{x}_1,\vec{x}_2\rangle=\langle A\vec{x}_1,\vec{x}_2\rangle=\langle\vec{x}_1,A^H\vec{x}_2\rangle=\langle\vec{x}_1,A\vec{x}_2\rangle=\lambda_2\langle\vec{x}_1,\vec{x}_2\rangle
因 λ1≠λ2\lambda_1\ne\lambda_2，所以 ⟨x⃗1,x⃗2⟩=0\langle\vec{x}_1,\vec{x}_2\rangle=0

定理

設 A∈Rn×nA\in\mathbb{R}^{n\times n}，AT=AA^T=A，則

  • AA 之 eigenvalues 皆為 real
  • 相異 eigenvalues 對應之 eigenvectors 互相正交
Note

設 A∈Fn×nA\in F^{n\times n}，則

A 為 unitary over C⟺AHA=I⟺A 的 columns 為 orthonormal⟺AAH=I⟺A 的 rows 為 orthonormal \begin{aligned} A\text{ 為 unitary over }\mathbb{C} &\Longleftrightarrow A^HA=I \Longleftrightarrow A\text{ 的 columns 為 orthonormal}\\ &\Longleftrightarrow AA^H=I \Longleftrightarrow A\text{ 的 rows 為 orthonormal} \end{aligned}

A 為 orthogonal over R⟺ATA=I⟺A 的 columns 為 orthonormal⟺AAT=I⟺A 的 rows 為 orthonormal \begin{aligned} A\text{ 為 orthogonal over }\mathbb{R} &\Longleftrightarrow A^TA=I \Longleftrightarrow A\text{ 的 columns 為 orthonormal}\\ &\Longleftrightarrow AA^T=I \Longleftrightarrow A\text{ 的 rows 為 orthonormal} \end{aligned}

定理

設 T:V→VT:V\to V 為 linear，VV 為 complex inner product space，則下列等價:

  • TT 為 unitary
  • TT 保內積，即 ⟨T(x⃗),T(y⃗)⟩=⟨x⃗,y⃗⟩\langle T(\vec{x}),T(\vec{y})\rangle=\langle\vec{x},\vec{y}\rangle
  • TT 保長度，即 ∥T(x⃗)∥=∥x⃗∥\lVert T(\vec{x})\rVert=\lVert\vec{x}\rVert
定理

設 A∈Rn×nA\in\mathbb{R}^{n\times n}，則下列等價:

  • AA 為 orthogonal
  • AA 保內積
  • AA 保長度

么正與正交對角化

Note
名稱 定義
A,B∈Fn×nA,B\in F^{n\times n}，A∼BA\sim B 存在可逆矩陣 PP，使得 P−1AP=BP^{-1}AP=B
A,B∈Cn×nA,B\in\mathbb{C}^{n\times n}，AA 酉相似於 BB 存在 unitary matrix PP，使得 P−1AP=BP^{-1}AP=B
A,B∈Rn×nA,B\in\mathbb{R}^{n\times n}，AA 正交相似於 BB 存在 orthogonal matrix PP，使得 PTAP=BP^TAP=B
A∈Fn×nA\in F^{n\times n}，AA 可對角化 A∼DA\sim D，其中 DD 為對角矩陣
A∈Cn×nA\in\mathbb{C}^{n\times n}，AA 可么正對角化 AA 么正相似於 DD，其中 DD 為對角矩陣
A∈Rn×nA\in\mathbb{R}^{n\times n}，AA 可正交對角化 AA 正交相似於 DD，其中 DD 為對角矩陣
定義

設 T:V→VT:V\to V 為 linear。若存在 VV 之一 orthonormal basis β\beta，使得 [T]β=D[T]_\beta=D
其中 DD 為對角矩陣，稱 TT 可么正對角化或可正交對角化

Lemma

若 AA 么正相似於 BB，則

  • AA 為 normal ⟺B\Longleftrightarrow B 為 normal
  • AH=A⟺BH=BA^H=A\Longleftrightarrow B^H=B
  • AH=−A⟺BH=−BA^H=-A\Longleftrightarrow B^H=-B
  • AA 為正定 ⟺B\Longleftrightarrow B 為正定
  • AA 為半正定 ⟺B\Longleftrightarrow B 為半正定
  • AA 為 unitary ⟺B\Longleftrightarrow B 為 unitary
定理
  • 設 A∈Cn×nA\in\mathbb{C}^{n\times n}，則 A 為 normal⟺A 可么正對角化A\text{ 為 normal}\Longleftrightarrow A\text{ 可么正對角化}
  • 設 A∈Rn×nA\in\mathbb{R}^{n\times n}，則 AT=A⟺A 可正交對角化A^T=A\Longleftrightarrow A\text{ 可正交對角化}

正定及半正定

定義

設 A∈Fn×nA\in F^{n\times n}，定義 QA(x⃗)=x⃗HAx⃗Q_A(\vec{x})=\vec{x}^HA\vec{x}
稱 QAQ_A 為 AA 之 quadratic form

定理

設 A∈Fn×nA\in F^{n\times n}，且 AH=AA^H=A
則 A 為正定⟺λ>0,∀λ∈Λ(A)A\text{ 為正定}\Longleftrightarrow \lambda>0, \forall\lambda\in\Lambda(A)

Note

設 A∈Rn×nA\in\mathbb{R}^{n\times n}
令 B=A+AT2B=\frac{A+A^T}{2} (對稱位置取平均)
則 BT=BB^T=B，且 QA(x⃗)=x⃗TAx⃗=x⃗TBx⃗Q_A(\vec{x})=\vec{x}^TA\vec{x}=\vec{x}^TB\vec{x}
A 為正定⟺B 為正定A 為半正定⟺B 為半正定 A\text{ 為正定} \Longleftrightarrow B\text{ 為正定}\\ A\text{ 為半正定} \Longleftrightarrow B\text{ 為半正定}

Note

若 AT=AA^T=A，則

  • AA 為正定 ⟺x⃗TAx⃗>0\Longleftrightarrow \vec{x}^TA\vec{x}>0，∀x⃗≠0⃗\forall\vec{x}\ne\vec{0} ⟺λ>0\Longleftrightarrow \lambda>0，∀λ∈Λ(A)\forall\lambda\in\Lambda(A)
  • AA 為半正定 ⟺x⃗TAx⃗≥0\Longleftrightarrow \vec{x}^TA\vec{x}\geq0，∀x⃗\forall\vec{x} ⟺λ≥0\Longleftrightarrow \lambda\geq0，∀λ∈Λ(A)\forall\lambda\in\Lambda(A)
  • AA 為 negative definite ⟺x⃗TAx⃗<0\Longleftrightarrow \vec{x}^TA\vec{x}<0，∀x⃗≠0⃗\forall\vec{x}\ne\vec{0} ⟺λ<0\Longleftrightarrow \lambda<0，∀λ∈Λ(A)\forall\lambda\in\Lambda(A)
  • AA 為 negative semidefinite ⟺x⃗TAx⃗≤0\Longleftrightarrow \vec{x}^TA\vec{x}\leq0，∀x⃗\forall\vec{x} ⟺λ≤0\Longleftrightarrow \lambda\leq0，∀λ∈Λ(A)\forall\lambda\in\Lambda(A)
  • AA 為 indefinite ⟺A\Longleftrightarrow A 同時有正 eigenvalue 與負 eigenvalue
定理

設 A∈Rn×nA\in\mathbb{R}^{n\times n}，AT=AA^T=A
則 A 為正定⟺Δk(A)>0,k=1,…,nA\text{ 為正定}\Longleftrightarrow \Delta_k(A)>0, k=1,\ldots,n
其中 Δk(A)=det⁡(Ak)\Delta_k(A)=\det(A_k)
AkA_k 為 AA 之左上角 k×kk\times k submatrix

定理

設 A∈Rn×nA\in\mathbb{R}^{n\times n}，AT=AA^T=A，則 A 為正定⟺A=LLTA\text{ 為正定}\Longleftrightarrow A=LL^T
其中 LL 為下三角矩陣，且對角項皆為正。此分解稱為 Cholesky decomposition

定理

設 A∈Fn×nA\in F^{n\times n}，
則 A 為正定⟺∃B∈Fm×n,rank⁡(B)=n,A=BHBA\text{ 為正定}\Longleftrightarrow \exists B\in F^{m\times n}, \operatorname{rank}(B)=n, A=B^HB

定理

設 A∈Fn×nA\in F^{n\times n}，
則 A 為半正定⟺∃B∈Fm×n,A=BHBA\text{ 為半正定}\Longleftrightarrow \exists B\in F^{m\times n}, A=B^HB

二次式之應用

定理

Principal Axis Theorem

設 A∈Fn×nA\in F^{n\times n}，AH=AA^H=A，則 QA(x⃗)=x⃗HAx⃗=λ1∣y1∣2+⋯+λn∣yn∣2Q_A(\vec{x})=\vec{x}^HA\vec{x}=\lambda_1\lvert y_1\rvert^2+\cdots+\lambda_n\lvert y_n\rvert^2

其中 λ1,…,λn\lambda_1,\ldots,\lambda_n 為 AA 之 eigenvalues，且 y⃗=PHx⃗ / x⃗=Py⃗\vec{y}=P^H\vec{x} \text{ / } \vec{x}=P\vec{y}

證明

因 AA 為 Hermitian，存在 unitary matrix PP，使得 PHAP=D=diag⁡(λ1,…,λn)P^HAP=D=\operatorname{diag}(\lambda_1,\ldots,\lambda_n)

令 y⃗=PHx⃗\vec{y}=P^H\vec{x}，則 x⃗HAx⃗=x⃗HPDPHx⃗=y⃗HDy⃗=λ1∣y1∣2+⋯+λn∣yn∣2\vec{x}^HA\vec{x}=\vec{x}^HPDP^H\vec{x}=\vec{y}^HD\vec{y}=\lambda_1\lvert y_1\rvert^2+\cdots+\lambda_n\lvert y_n\rvert^2

定義

設 A∈Fn×nA\in F^{n\times n}，AH=AA^H=A。對任意 x⃗≠0⃗\vec{x}\ne\vec{0}，定義

PA(x⃗)=QA(x⃗)∥x⃗∥2=x⃗HAx⃗x⃗Hx⃗P_A(\vec{x})=\frac{Q_A(\vec{x})}{\lVert\vec{x}\rVert^2}=\frac{\vec{x}^HA\vec{x}}{\vec{x}^H\vec{x}}

稱 PA(x⃗)P_A(\vec{x}) 為 AA 在 x⃗\vec{x} 上之 Rayleigh quotient

定理

Rayleigh Principle:
設 A∈Fn×nA\in F^{n\times n}，AH=AA^H=A，且 λ1≤⋯≤λn,λi∈Λ(A)\lambda_1\leq\cdots\leq\lambda_n, \lambda_i\in\Lambda(A)
則

  • λ1≤PA(x⃗)≤λn\lambda_1\leq P_A(\vec{x})\leq\lambda_n，∀x⃗≠0⃗\forall\vec{x}\ne\vec{0}
  • min⁡x⃗≠0⃗PA(x⃗)=λ1=λmin⁡(A)\displaystyle\min_{\vec{x}\ne\vec{0}}P_A(\vec{x})=\lambda_1=\lambda_{\min}(A)
  • max⁡x⃗≠0⃗PA(x⃗)=λn=λmax⁡(A)\displaystyle\max_{\vec{x}\ne\vec{0}}P_A(\vec{x})=\lambda_n=\lambda_{\max}(A)

Householder 轉換

定義

設 u⃗∈Rn×1\vec{u}\in\mathbb{R}^{n\times1}，且 ∥u⃗∥=1\lVert\vec{u}\rVert=1。定義 H=I−2u⃗u⃗TH=I-2\vec{u}\vec{u}^T
稱 HH 為一個 Householder matrix

Note

設 H=I−2u⃗u⃗TH=I-2\vec{u}\vec{u}^T，∥u⃗∥=1\lVert\vec{u}\rVert=1，並令 U=span⁡{u⃗}U=\operatorname{span}\{\vec{u}\}。則 Λ(H)={−1,1},det⁡(H)=−1\Lambda(H)=\{-1,1\}, \det(H)=-1
若 PH(t)P_H(t) split over FF，則 PH(t)=(t+1)(t−1)n−1P_H(t)=(t+1)(t-1)^{n-1}

  • Hu⃗=−u⃗H\vec{u}=-\vec{u}，故 E−1=U=span⁡{u⃗}E_{-1}=U=\operatorname{span}\{\vec{u}\}
  • 若 x⃗∈U⊥\vec{x}\in U^\perp，則 Hx⃗=x⃗H\vec{x}=\vec{x}，故 E1=U⊥E_1=U^\perp
  • 若 {x⃗1,…,x⃗n−1}\{\vec{x}_1,\ldots,\vec{x}_{n-1}\} 為 U⊥U^\perp 之一 basis，則 {u⃗,x⃗1,…,x⃗n−1}\{\vec{u},\vec{x}_1,\ldots,\vec{x}_{n-1}\} 為 HH 之 nn 個 LI eigenvectors，因此 HH 可對角化

Householder Like

定理

  • 設 A,B∈Fn×nA,B\in F^{n\times n}，且 PAB(t)P_{AB}(t)、PBA(t)P_{BA}(t) 皆 split over FF
    則 λ(AB)=λ(BA)\lambda(AB)=\lambda(BA)
    即 PAB(t)=PBA(t)P_{AB}(t)=P_{BA}(t)

  • 設 A∈Fm×nA\in F^{m\times n}，B∈Fn×mB\in F^{n\times m}，且 m≥nm\geq n
    則 PAB(t)=PBA(t)⋅tm−nP_{AB}(t)=P_{BA}(t)\cdot t^{m-n}

Note

設 A=I+x⃗y⃗TA=I+\vec{x}\vec{y}^T，則

  • x⃗\vec{x} 為 AA 之 eigenvector，對應 eigenvalue 為 1+y⃗Tx⃗1+\vec{y}^T\vec{x}
  • 若 v⃗⊥y⃗\vec{v}\perp\vec{y}，則 v⃗\vec{v} 為 AA 之 eigenvector，對應 eigenvalue 為 11

即 rank-one update 的 eigenvectors 包含左邊向量 x⃗\vec{x}，以及所有與右邊向量 y⃗\vec{y} 垂直之 vectors

Note

設 x⃗,y⃗∈Rn×1\vec{x},\vec{y}\in\mathbb{R}^{n\times1}，∥x⃗∥=∥y⃗∥\lVert\vec{x}\rVert=\lVert\vec{y}\rVert，且 x⃗≠y⃗\vec{x}\ne\vec{y}。
取 u⃗=x⃗−y⃗∥x⃗−y⃗∥,H=I−2u⃗u⃗T\vec{u}=\frac{\vec{x}-\vec{y}}{\lVert\vec{x}-\vec{y}\rVert}, H=I-2\vec{u}\vec{u}^T
則 Hx⃗=y⃗H\vec{x}=\vec{y}

奇異值分解

定義

設 A∈Fm×nA\in F^{m\times n}。若 A=UΣVHA=U\Sigma V^H
其中 U∈Fm×mU\in F^{m\times m}、V∈Fn×nV\in F^{n\times n} 為 unitary matrices，則稱上式為 AA 之 singular value decomposition (SVD)

Σ∈Fm×n\Sigma\in F^{m\times n} 為 rectangular diagonal matrix。
令 r=rank⁡(A)r=\operatorname{rank}(A)、p=min⁡{m,n}p=\min\{m,n\}，則 σ1≥σ2≥⋯≥σr>0,σr+1=⋯=σp=0\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0, \sigma_{r+1}=\cdots=\sigma_p=0
其中 σ1,…,σp\sigma_1,\ldots,\sigma_p 稱為 AA 之 singular values

定理

設 A∈Fm×nA\in F^{m\times n}，則 AA 可作 SVD

  • 如果為扁矩陣，則求 ATA^T 之 SVD，之後再轉置
範例
定義

設 A=UΣVH∈Fm×nA=U\Sigma V^H\in F^{m\times n} 為 AA 之 SVD。
定義 Σ+∈Fn×m\Sigma^+\in F^{n\times m} 為將 Σ\Sigma 所有非零 singular values 取倒數後，再轉置所得之 rectangular diagonal matrix:

Σ+=diag⁡(1σ1,…,1σr,0,…,0)\Sigma^+=\operatorname{diag}\left(\frac{1}{\sigma_1},\ldots,\frac{1}{\sigma_r},0,\ldots,0\right)

定義 A+=VΣ+UHA^+=V\Sigma^+U^H
稱 A+A^+ 為 AA 之 pseudoinverse 或 generalized inverse

Note
  • 若 AA 可逆，則 A+=A−1A^+=A^{-1}
  • (A+)+=A(A^+)^+=A
  • (AH)+=(A+)H(A^H)^+=(A^+)^H
  • 若 AA 為 full column rank、BB 為 full row rank
    則 (AB)+=B+A+(AB)^+=B^+A^+
定理

設 A∈Fm×nA\in F^{m\times n}，x⃗∈Fn×1\vec{x}\in F^{n\times1}，b⃗∈Fm×1\vec{b}\in F^{m\times1}。
則 x⃗0=A+b⃗\vec{x}_0=A^+\vec{b}
為使 ∥Ax⃗−b⃗∥\lVert A\vec{x}-\vec{b}\rVert 最小之 least squares solution，且在所有 least squares solutions 中，x⃗0\vec{x}_0 之 22-norm 最小

Note
  • 若 AA 的 columns 為 LI，則 A+=(AHA)−1AHA^+=(A^HA)^{-1}A^H
    • x⃗0=(AHA)−1AHb⃗\vec{x}_0=(A^HA)^{-1}A^H\vec{b}
    • x⃗0=A+b⃗\vec{x}_0=A^+\vec{b}
  • 若 AA 的 rows 為 LI，則 A+=AH(AAH)−1A^+=A^H(AA^H)^{-1}