考研相關文章參考資料為 wjungle 大神提供的筆記

Ch7 內積空間

內積

定義

設 $V$ 為 vector space over $F$ 。
$\langle \cdot,\cdot\rangle:V\times V\to F$ 為 function，且對所有 $\vec{u},\vec{v},\vec{w}\in V$ ， $c,d\in F$ ，滿足:

$\langle \vec{u}+\vec{v},\vec{w}\rangle=\langle \vec{u},\vec{w}\rangle+\langle \vec{v},\vec{w}\rangle$ 。
$\langle c\vec{u},\vec{v}\rangle=c\langle \vec{u},\vec{v}\rangle$ 。
$\langle \vec{u},\vec{v}\rangle=\overline{\langle \vec{v},\vec{u}\rangle}$ 。
若 $\vec{v}\ne \vec{0}$ ，則 $\langle \vec{v},\vec{v}\rangle>0$ 。

稱 $\langle \cdot,\cdot\rangle$ 為 $V$ 上之 inner product。

Note

左線性: $\langle c\vec{u}+d\vec{v},\vec{w}\rangle=c\langle \vec{u},\vec{w}\rangle+d\langle \vec{v},\vec{w}\rangle$
右共軛線性: $\begin{aligned}\langle \vec{u},c\vec{v}+d\vec{w}\rangle=\overline{\langle c\vec{v}+d\vec{w},\vec{u}\rangle}=\bar{c}\langle \vec{u},\vec{v}\rangle+\bar{d}\langle \vec{u},\vec{w}\rangle\end{aligned}$

常見內積

$V=F^n$ (standard inner product): $\langle \vec{x},\vec{y}\rangle=x_1\bar{y}_1+x_2\bar{y}_2+\cdots+x_n\bar{y}_n$
- matrix form: $\langle \vec{x},\vec{y}\rangle=\vec{y}^{H}\vec{x}\quad \text{in }F^{n\times 1}$
- matrix form: $\langle \vec{x},\vec{y}\rangle=\vec{x}\vec{y}^{H}\quad \text{in }F^{1\times n}$
$V=F^{n\times n}$ : $\langle A,B\rangle=\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}\bar{b}_{ij}$
- matrix form: $\langle A,B\rangle=\operatorname{tr}(AB^H)$
$V=C[a,b]$ : $\langle f,g\rangle=\int_a^b f(x)\bar{g}(x)\,dx$
$V=P_n$ ， $x_1,x_2,\ldots,x_{n+1}$ 相異: $\langle P,Q\rangle=\sum_{i=1}^{n+1}P(x_i)\overline{Q(x_i)}$
- 若取點數不夠，可能不成 inner product。例如 $V=P_2$ ，只取 $x_0=0,x_1=1$ ，令 $P=x(x-1)\ne 0$ ，則 $\langle P,P\rangle=P(0)P(0)+P(1)P(1)=0$ 不滿足正定性。

性質

設 $\langle \cdot,\cdot\rangle$ 為 $V$ 上的 inner product。

$\langle \vec{v},\vec{0}\rangle=0=\langle \vec{0},\vec{v}\rangle$ 。
$\langle c\vec{u},\vec{v}\rangle=c\langle \vec{u},\vec{v}\rangle$ 。
$\left\langle \sum_i c_i\vec{u}_i,\vec{v}\right\rangle=\sum_i c_i\langle \vec{u}_i,\vec{v}\rangle$ 。
$\langle \vec{u},c\vec{v}\rangle=\bar{c}\langle \vec{u},\vec{v}\rangle$ 。
$\left\langle \vec{u},\sum_i c_i\vec{v}_i\right\rangle=\sum_i\bar{c}_i\langle \vec{u},\vec{v}_i\rangle$ 。
$\langle \vec{v},\vec{v}\rangle\ge 0$ ，且 $\langle \vec{v},\vec{v}\rangle=0\Longleftrightarrow\vec{v}=\vec{0}$ 。
$\langle \vec{u},\vec{v}\rangle=0$ ， $\vec{u},\vec{v}\in V\Longleftrightarrow\vec{u}=\vec{0}$ 或 $\vec{v}=\vec{0}$ 。
若 $\beta=\{\vec{v}_1,\ldots,\vec{v}_n\}$ 為 $V$ 的 basis，且 $\langle \vec{u},\vec{v}_i\rangle=0$ ， $i=1,\ldots,n$ ，則 $\vec{u}=\vec{0}$ 。

定義

設 $\langle \cdot,\cdot\rangle$ 為 $V$ 上的 inner product。

$\lVert\vec{v}\rVert=\sqrt{\langle \vec{v},\vec{v}\rangle}$ 稱為 $\vec{v}$ 的 norm。若 $\lVert\vec{v}\rVert=1$ ，稱 $\vec{v}$ 為 unit vector。
若 $\langle \vec{u},\vec{v}\rangle=0$ ，稱 $\vec{u},\vec{v}$ 為 orthogonal，記作 $\vec{u}\perp\vec{v}$ 。
$S=\{\vec{v}_1,\ldots,\vec{v}_k\}$ ，若 $\vec{v}_i\perp\vec{v}_j$ ， $\forall i\ne j$ ，稱 $S$ 為 orthogonal set，允許 $\vec{0}$ 。
若 $S$ 為 orthogonal set 且 $\lVert\vec{v}_i\rVert=1$ ， $i=1,\ldots,k$ ，稱 $S$ 為 orthonormal set，不允許 $\vec{0}$ 。
$\vec{u}$ 與 $\vec{v}$ 的 distance 為 $d(\vec{u},\vec{v})=\lVert\vec{u}-\vec{v}\rVert$ 。

Note

若 $S=\{\vec{v}_1,\ldots,\vec{v}_k\}$ ，則

S\text{ 為 orthonormal set} \Longleftrightarrow \langle \vec{v}_i,\vec{v}_j\rangle=\delta_{ij}= \begin{cases} 1,& i=j,\\ 0,& i\ne j \end{cases}

Note

在 $C[-\pi,\pi]$ 上定義 $\langle f,g\rangle=\frac{1}{\pi}\int_{-\pi}^{\pi}f(x)\overline{g(x)}\,dx.$

則 $S=\left\{\frac{1}{\sqrt{2}},\cos x,\cos 2x,\ldots\right\}$ 為 orthonormal set。

Note

在 $F^n$ 的 standard inner product 下:

$\lVert\vec{x}\rVert=\sqrt{\langle\vec{x},\vec{x}\rangle}=\left(|x_1|^2+\cdots+|x_n|^2\right)^{1/2}$ 稱為 $2$ -norm。

也可定義:

$\lVert\vec{x}\rVert_1=|x_1|+\cdots+|x_n|$
$\lVert\vec{x}\rVert_\infty=\max\{|x_1|,\ldots,|x_n|\}$
$\lVert\vec{x}\rVert_p=\left(|x_1|^p+\cdots+|x_n|^p\right)^{1/p}$

norm 需滿足:

$\lVert\vec{x}\rVert\ge 0$ ，且 $\lVert\vec{x}\rVert=0\Longleftrightarrow\vec{x}=\vec{0}$ 。
$\lVert c\vec{x}\rVert=|c|\lVert\vec{x}\rVert$ 。
$\lVert\vec{x}+\vec{y}\rVert\le\lVert\vec{x}\rVert+\lVert\vec{y}\rVert$ 。

定理

Pythagorean theorem:
設 $\langle\cdot,\cdot\rangle$ 為 $V$ 上的 inner product。若 $\vec{u}\perp\vec{v}$ ，則 $\lVert\vec{u}+\vec{v}\rVert^2=\lVert\vec{u}\rVert^2+\lVert\vec{v}\rVert^2.$

Note

若 $\{\vec{v}_1,\ldots,\vec{v}_k\}$ 為 orthogonal set，則

\left\lVert c_1\vec{v}_1+\cdots+c_k\vec{v}_k\right\rVert^2 =\lVert c_1\vec{v}_1\rVert^2+\cdots+\lVert c_k\vec{v}_k\rVert^2 =|c_1|^2\lVert\vec{v}_1\rVert^2+\cdots+|c_k|^2\lVert\vec{v}_k\rVert^2

定理

設 $\langle\cdot,\cdot\rangle$ 為 $V$ 上的 inner product，則對所有 $\vec{u},\vec{v}\in V$ :

Cauchy-Schwarz inequality: $ |\langle\vec{u},\vec{v}\rangle|\le\lVert\vec{u}\rVert\lVert\vec{v}\rVert.$
Triangle inequality: $\lVert\vec{u}+\vec{v}\rVert\le\lVert\vec{u}\rVert+\lVert\vec{v}\rVert.$

證明

若 $\vec{v}=\vec{0}$ ，結論顯然。若 $\vec{v}\ne\vec{0}$ ，取 $\alpha=\frac{\langle\vec{u},\vec{v}\rangle}{\langle\vec{v},\vec{v}\rangle}.$
由 $0\le\lVert\vec{u}-\alpha\vec{v}\rVert^2$ ，可得 $|\langle\vec{u},\vec{v}\rangle|^2\le\lVert\vec{u}\rVert^2\lVert\vec{v}\rVert^2.$
展開後套用 Cauchy-Schwarz inequality:
$\lVert\vec{u}+\vec{v}\rVert^2=\lVert\vec{u}\rVert^2+2\operatorname{Re}\langle\vec{u},\vec{v}\rangle+\lVert\vec{v}\rVert^2\le\lVert\vec{u}\rVert^2+2\lVert\vec{u}\rVert\lVert\vec{v}\rVert+\lVert\vec{v}\rVert^2=(\lVert\vec{u}\rVert+\lVert\vec{v}\rVert)^2.$

Note

在 $C[a,b]$ 上，若 $\langle f,g\rangle=\int_a^b f(x)g(x)\,dx$
則 Cauchy-Schwarz inequality 為

\left|\int_a^b f(x)g(x)\,dx\right| \le\left(\int_a^b f(x)^2\,dx\right)^{1/2} \left(\int_a^b g(x)^2\,dx\right)^{1/2}

Note

若 $\vec{u},\vec{v}\ne\vec{0}$ ，由 Cauchy-Schwarz inequality 可得

-1\le\frac{\langle\vec{u},\vec{v}\rangle}{\lVert\vec{u}\rVert\lVert\vec{v}\rVert}\le1

故存在 $\theta\in[0,\pi]$ ，使得

\cos\theta=\frac{\langle\vec{u},\vec{v}\rangle}{\lVert\vec{u}\rVert\lVert\vec{v}\rVert}

稱 $\theta$ 為 $\vec{u}$ 與 $\vec{v}$ 之間的角度。

定理

設 $S=\{\vec{v}_1,\ldots,\vec{v}_k\}$ 為 nonzero orthogonal set，且 $\vec{v}\in\operatorname{span}(S)$ 。若 $\vec{v}=c_1\vec{v}_1+\cdots+c_k\vec{v}_k$ 則

c_i=\frac{\langle\vec{v},\vec{v}_i\rangle}{\langle\vec{v}_i,\vec{v}_i\rangle},\quad i=1,\ldots,k

稱 $c_i$ 為 Fourier coefficient。

若 $S$ 為 orthonormal set，則 $c_i=\langle\vec{v},\vec{v}_i\rangle$

定理

設 $S=\{\vec{v}_1,\ldots,\vec{v}_k\}$ 為 nonzero orthogonal set，則 $S$ 為 LI。

Gram-Schmidt 正交化

定理

Gram-Schmidt orthogonalization Process:
給定 $\{\vec{v}_1,\ldots,\vec{v}_n\}$ 為 LI。令

\begin{aligned} \vec{u}_1&=\vec{v}_1,\\ \vec{u}_i&=\vec{v}_i-\sum_{j=1}^{i-1} \frac{\langle\vec{v}_i,\vec{u}_j\rangle} {\langle\vec{u}_j,\vec{u}_j\rangle}\vec{u}_j,\quad i=2,\ldots,n \end{aligned}

則 $\{\vec{u}_1,\ldots,\vec{u}_n\}$ 為 nonzero orthogonal set，且 $\operatorname{span}\{\vec{u}_1,\ldots,\vec{u}_n\}=\operatorname{span}\{\vec{v}_1,\ldots,\vec{v}_n\}$

Note

若 $\vec{u}\ne\vec{0}$ ，令 $\vec{z}=\frac{\vec{u}}{\lVert\vec{u}\rVert}$

稱為 normalized vector，且 $\lVert\vec{z}\rVert=1$ 。
因此 $\left\{\frac{\vec{u}_1}{\lVert\vec{u}_1\rVert},\ldots,\frac{\vec{u}_n}{\lVert\vec{u}_n\rVert}\right\}$ 為 orthonormal set。

定理

QR-decomposition:

若 $A\in F^{m\times n}$ 的 columns 為 LI，則 $A=QR$

其中 $Q\in F^{m\times n}$ 的 columns 為 orthonormal， $R\in F^{n\times n}$ 為 upper triangular 且可逆。

正交投影

定義

設 $W\subseteq V$ ，且 $\vec{v}\in V$ 。若存在 $\vec{v}_0\in W$ ，使得 $\langle\vec{v}-\vec{v}_0,\vec{w}\rangle=0,\quad\forall\vec{w}\in W$

即 $\vec{v}-\vec{v}_0\perp W$ ，稱 $\vec{v}_0$ 為 $\vec{v}$ on $W$ 的 orthogonal projection vector。

定理

設 $W\subseteq V$ ， $\vec{v}\in V$ ，且 $\{\vec{v}_1,\ldots,\vec{v}_k\}$ 為 $W$ 的 orthogonal basis。令

\vec{v}_0=\sum_{i=1}^k \frac{\langle\vec{v},\vec{v}_i\rangle} {\langle\vec{v}_i,\vec{v}_i\rangle}\vec{v}_i

則 $\vec{v}_0$ 為 $\vec{v}$ 在 $W$ 上唯一的 orthogonal projection vector，記作 $\operatorname{proj}_W\vec{v}$ 。

當 $W=\operatorname{span}\{\vec{v}\}$ 時:

\operatorname{proj}_W\vec{u} =\frac{\langle\vec{u},\vec{v}\rangle}{\langle\vec{v},\vec{v}\rangle}\vec{v}

Note

$\vec{v}\in W\Longleftrightarrow\operatorname{proj}_W\vec{v}=\vec{v}$ 。
$\vec{v}=\vec{0}\Longrightarrow\operatorname{proj}_W\vec{v}=\vec{0}$ 。
$\vec{v}\perp W\Longleftrightarrow\operatorname{proj}_W\vec{v}=\vec{0}$ 。

定義

設 $W\subseteq V$ 。定義 $P:V\to V,\quad P(\vec{v})=\operatorname{proj}_W\vec{v}$

稱 $P$ 為 $V$ 在 $W$ 上之 orthogonal projection operator。

Note

設 $P:V\to V$ 為 $V$ 在 $W$ 上之 orthogonal projection operator。

$P$ is linear。
$\operatorname{Im}(P)=W$ 。
對所有 $\vec{v}\in V$ ， $P(\vec{v})\in W$ ，故 $P(P(\vec{v}))=P(\vec{v})$
因此 $P^2=P$ (idempotent)。

定理

設 $P:V\to V$ 為 $V$ 在 $W$ 上之 orthogonal projection operator。
則對所有 $\vec{v}\in V$ 與 $\vec{w}\in W$ : $\lVert\vec{v}-P(\vec{v})\rVert\le\lVert\vec{v}-\vec{w}\rVert$

證明

因為 $P(\vec{v})-\vec{w}\in W$ ，且 $\vec{v}-P(\vec{v})\perp W$ ，所以

\begin{aligned} \lVert\vec{v}-\vec{w}\rVert^2 &=\lVert(\vec{v}-P(\vec{v}))+(P(\vec{v})-\vec{w})\rVert^2\\ &=\lVert\vec{v}-P(\vec{v})\rVert^2+\lVert P(\vec{v})-\vec{w}\rVert^2\\ &\ge\lVert\vec{v}-P(\vec{v})\rVert^2 \end{aligned}

Note

Bessel's inequality: $\lVert P(\vec{v})\rVert\le\lVert\vec{v}\rVert$

定理

設 $A\in F^{m\times n}$ ，則

$\ker(A)=\ker(A^HA)$ 。
$\operatorname{rank}(A)=\operatorname{rank}(A^HA)$ 。

Note

$\operatorname{rank}(A)=\operatorname{rank}(A^T)=\operatorname{rank}(AA^T)=\operatorname{rank}(A^TA)$

但一般而言， $\operatorname{rank}(AB)\ne\operatorname{rank}(BA)$ 。

定理

設 $A\in F^{m\times n}$ ，則 $A\text{ 的 columns 為 LI}\Longleftrightarrow A^HA\text{ 為可逆}$

證明

$A\text{ 的 columns 為 LI}\Longleftrightarrow\ker(A)=\{\vec{0}\}\Longleftrightarrow\ker(A^HA)=\{\vec{0}\}\Longleftrightarrow A^HA\text{ 為可逆}$

Note

設 $A\in F^{m\times n}$ :

$A$ : 行獨立	$A$ : 列獨立
$A$ 列生成	$A$ 行生成
$A$ 具左反	$A$ 具右反
$\operatorname{rank}(A)=n$	$\operatorname{rank}(A)=m$
$A$ nonsingular	$A$ nonsingular
$\ker(A)=\{\vec{0}\}$	$\operatorname{Lker}(A)=\{\vec{0}\}$
$A^HA$ 為可逆	$AA^H$ 為可逆

定理

矩陣版正交投影公式:
設 $A\in F^{m\times n}$ 的 columns 為 LI， $W=R(A)$ ，且 $\vec{b}\in F^{m\times1}$ 。

則 $\operatorname{proj}_W\vec{b}=A(A^HA)^{-1}A^H\vec{b}$

定理

設 $A\in F^{m\times n}$ ， $W=R(A)$ ，且 $\vec{b}\in F^{m\times1}$ 。

則 $\lVert A\vec{x}-\vec{b}\rVert\text{ 最小}\Longleftrightarrow A\vec{x}=\operatorname{proj}_W\vec{b}\Longleftrightarrow A^HA\vec{x}=A^H\vec{b}$

Note

如何求 $\operatorname{proj}_{R(A)}\vec{b}$ :
- Step 1: solve $A^HA\vec{x}=A^H\vec{b}$ ，得 $\vec{x}_0$
- Step 2: $\operatorname{proj}_{R(A)}\vec{b}=A\vec{x}_0$
稱 $A^HA\vec{x}=A^H\vec{b}$ 為 normal equation。
normal equation 一定有解。
當 $A$ 的 columns 為 LI 時， $A^HA$ 可逆，故
$\vec{x}_0=(A^HA)^{-1}A^H\vec{b} $
$\operatorname{proj}_{R(A)}\vec{b}=A\vec{x}_0=A(A^HA)^{-1}A^H\vec{b}$
當 $A$ 的 columns 不為 LI 時， $A^HA\vec{x}=A^H\vec{b}$ 有無限多解，但 $A\vec{x}_0$ 唯一。
若 $\vec{x}$ 使得 $\lVert A\vec{x}-\vec{b}\rVert$ 最小，稱 $\vec{x}$ 為 $A\vec{x}=\vec{b}$ 的 least squares solution。

Note

設 $P\in F^{m\times m}$ 滿足 $P\vec{x}=\operatorname{proj}_W\vec{x}, \forall\vec{x}$

稱 $P$ 為投影在 $W$ 上之 orthogonal projection matrix。

Note

若 $A\in F^{m\times n}$ 的 columns 為 LI
則 $\operatorname{proj}_{R(A)}\vec{b}=A(A^TA)^{-1}A^T\vec{b}$

因此 $P=A(A^TA)^{-1}A^T$ 為 $R(A)$ 上之 orthogonal projection matrix。

定理

若 $A\in F^{m\times n}$ 的 columns 為 LI，且 $P=A(A^TA)^{-1}A^T$
則 $P^2=P$ 且 $P^T=P$ 。
若 $P\in F^{m\times m}$ ， $P^2=P$ 且 $P^T=P$ ，則 $P$ 為 $W=R(P)$ 上之 orthogonal projection matrix。

Note

設 $A\in F^{m\times n}$ 的 columns 為 LI
且 $P=A(A^TA)^{-1}A^T$ ，則:

$R(P)=R(A)$ 。
$\operatorname{rank}(P)=\operatorname{rank}(A)=n$ 。

最小平方直線

迴歸線

給定 $n$ 個 points $(x_1,y_1),\ldots,(x_n,y_n)$ ，其中 $x_1,\ldots,x_n$ 不全相同。求一條直線 $y=a+bx$

使得各點到直線的高度平方和 $\sum_{i=1}^n(a+bx_i-y_i)^2$ 為最小。

定理

設 $A=QR\in F^{m\times n}$ 的 columns 為 LI，其中 $Q$ 的 columns 為 orthonormal， $R$ 為 upper triangular 且可逆。則 $\lVert A\vec{x}-\vec{b}\rVert\text{ 最小} \Longleftrightarrow R\vec{x}=Q^T\vec{b}$

故 $\vec{x}=R^{-1}Q^T\vec{b}$

$Q^TQ=I_n$ : columns 為 orthonormal，自己與自己內積才為 1，否則為 0

Note

若 $W=R(A)$ ，且 $A$ 的 columns 為 orthonormal，則 $\operatorname{proj}_W\vec{b}=A(A^TA)^{-1}A^T\vec{b}=AA^T\vec{b}$

Note

$\lVert\vec{b}-\operatorname{proj}_W\vec{b}\rVert$ 稱為 least square error。

正交補空間

定義

設 $S\subseteq V$ ，定義
$S^\perp=\{\vec{v}\in V\mid \langle\vec{v},\vec{s}\rangle=0,\ \forall\vec{s}\in S\}$
稱為 $S$ 之 orthogonal complement。

若 $V=\mathbb{R}^2$ ，則

$S=\{(1,0)\} \Longrightarrow S^\perp=\text{y-axis}$
$S=\{(0,1)\} \Longrightarrow S^\perp=\text{x-axis}$
$S=\text{x-axis} \Longrightarrow S^\perp=\text{y-axis}$

Note

$S^\perp\subseteq V$
$S\subseteq S^{\perp\perp}$ ，其中 $S^{\perp\perp}=(S^\perp)^\perp$
$S\cap S^\perp\subseteq\{\vec{0}\}$

Note

若 $W=\{(x,y,z)\in\mathbb{R}^3\mid 2x-y+3z=0\}$
則 $W$ 為 hyperplane，且 $W^\perp=\operatorname{span}\{(2,-1,3)\}$
若 $W=\left\{(x,y,z)\in\mathbb{R}^3\middle|\begin{aligned}x-y+z&=0\\2x-y+3z&=0\end{aligned}\right\}$
則 $W^\perp=\operatorname{span}\{(1,-1,1),(2,-1,3)\}$
若 $W=\{(x,y,z)\in\mathbb{R}^3\mid x-y+2z=3\}$ ，則其法向量為 $(1,-1,2)$ 。此 $W$ 不是 subspace，不可寫成 span

定理

設 $W\subseteq V$ ， $P:V\to V$ 為 orthogonal projection on $W$
則 $\operatorname{Im}(P)=W, \ker(P)=W^\perp$

Note

$P^2=P$ ，且 $V=\operatorname{Im}(P)\oplus\ker(P)=W\oplus W^\perp$
$\dim(V)=\dim(W)+\dim(W^\perp)$
$\dim(V)=\dim(W^\perp)+\dim(W^{\perp\perp})$ ，故 $W=W^{\perp\perp}$
對所有 $\vec{v}\in V$ ， $\vec{v}=\operatorname{proj}_W\vec{v}+(\vec{v}-\operatorname{proj}_W\vec{v})$
其中 $\operatorname{proj}_W\vec{v}\in W$ ， $\vec{v}-\operatorname{proj}_W\vec{v}\in W^\perp$
$\vec{v}=\operatorname{proj}_W\vec{v}+\operatorname{proj}_{W^\perp}\vec{v}$
若 $Q(\vec{v})=\vec{v}-P(\vec{v})$ ，則 $Q=I-P$

定理

設 $A\in F^{m\times n}$ ，則

$R(A)^\perp=N(A^T)$
$R(A^T)^\perp=N(A)$
$N(A)^\perp=R(A^T)$
$N(A^T)^\perp=R(A)$

Note

若 $A$ 的 columns 為 LI，則 $\operatorname{proj}_{R(A)}\vec{v}=A(A^TA)^{-1}A^T\vec{v}$
若 $A$ 的 rows 為 LI，則 $\operatorname{proj}_{R(A^T)}\vec{v}=A^T(AA^T)^{-1}A\vec{v}$

若 $A$ 的 rows 為 LI，則 $\operatorname{proj}_{N(A)}\vec{v}=\vec{v}-A^T(AA^T)^{-1}A\vec{v}$
若 $A$ 的 columns 為 LI，則 $\operatorname{proj}_{N(A^T)}\vec{v}=\vec{v}-A(A^TA)^{-1}A^T\vec{v}$