線性代數-5
考研相關文章參考資料為 wjungle 大神提供的筆記
Ch4 對角化及其應用
相似
定義令 $A,B$ 皆為 $n\times n$ matrices。若存在 $n\times n$ 可逆矩陣 $P$，使得 $P^{-1}AP=B$
則稱 $B$ is similar to $A$，記作 $A\sim B$。
相似是一種等價關係:
反身性: $A\sim A$，因為 $I^{-1}AI=A$。對稱性: 若 $A\sim B$，則存在可逆矩陣 $P$ 使得 $P^{-1}AP=B$。
因此 $A=PBP^{-1}=(P^{-1})^{-1}B(P^{-1})$
所以 $B\sim A$。遞移性: 若 $A\sim B$ 且 $B\sim C$，則存在可逆矩陣 $P,Q$ 使得 $P^{-1}AP=B, Q^{-1}BQ=C$
因此 $C=Q^{-1}BQ=Q^{-1}P^{-1}APQ=(PQ)^{-1}A(PQ)$
所以 $A\sim C$。
特殊矩陣的相似關係:
- $A\sim O \iff A=O$。
- $A\sim I \iff A=I$。
- $A\sim \alpha I \iff A=\alpha I$。
相似變換/對角化下不改變的量:
令 $A,B$ 皆為 $n\times n$ matrices。若 $A\sim B$，則:
- $\operatorname{tr}(A)=\operatorname{tr}(B)$。
- $\det(A)=\det(B)$。
- $\operatorname{rank}(A)=\operatorname{rank}(B)$。
- $\operatorname{nullity}(A)=\operatorname{nullity}(B)$。
若 $A\sim B$，則:
- $A^k\sim B^k$，其中 $k\in\mathbb{N}$。
- $cA\sim cB$，其中 $c\in F$。
- $A+cI\sim B+cI$，其中 $c\in F$。
- 對任意 polynomial $f(x)\in F[x]$，皆有 $f(A)\sim f(B)$。
不變子空間
定義令 $T:V\to V$ 為 linear operator，且 $W\overset{s}{\subseteq}V$。若 $T(W)\subseteq W$
對任意 $\vec{x}\in W$，皆有 $T(\vec{x})\in W$，則稱 $W$ 為 $T$-invariant subspace (不變子空間)。
並可定義 $T$ 在 $W$ 上的局部化函數 $T_W:W\to W, T_W(\vec{x})=T(\vec{x})$
- 讓值域可以從 $V$ 縮小到 $W$。
常見的 $T$-invariant subspaces:
- $V$ 與 ${\vec{0}}$ 皆為 $T$-invariant。
- $N(T)=\ker(T)$ 與 $R(T)=\operatorname{Im}(T)$ 皆為 $T$-invariant。
- 若 $W_1,\dots,W_k$ 皆為 $T$-invariant
- 則 $W_1\cap\cdots\cap W_k$ 也是 $T$-invariant。
- 則 $W_1+\cdots+W_k$ 也是 $T$-invariant。
令 $T:V\to V$ 為 linear operator，且 $W$ 為 $T$-invariant subspace。若 $\dim(W)=k$、$\dim(V)=n$，取 $\beta1={\vec{v}_1,\dots,\vec{v}_k}$ 為 $W$ 的一組 basis，並擴充成 $V$ 的 basis $\beta={\vec{v}_1,\dots,\vec{v}_k,\vec{v}{k+1},\dots,\vec{v}_n}$
則
定理令 $T:V\to V$ 為 linear operator。若 $W_1,W_2$ 皆為 $T$-invariant subspaces，且 $V=W_1\oplus W_2$
取 $\beta_1$ 為 $W_1$ 的 basis，$\beta_2$ 為 $W_2$ 的 basis，令 $\beta=\beta_1\cup\beta_2$，則
Corollary由空間直和到矩陣直和:
若 $W_1,\dots,W_k$ 皆為 $T$-invariant subspaces，且 $V=W_1\oplus\cdots\oplus W_k$
取各 $W_i$ 的 basis $\beta_i$，並令 $\beta=\beta_1\cup\cdots\cup\beta_k$，則
Eigenvalue 及 Eigenvector
定義令 $T:V\to V$ 為 linear operator，$\lambda\in F$。若存在 $\vec{v}\ne\vec{0}$，使得 $T(\vec{v})=\lambda\vec{v}$
則稱 $\lambda$ 為 $T$ 的 eigenvalue (特徵值)，稱 $\vec{v}$ 為 $T$ with respect to $\lambda$ 的 eigenvector (特徵向量)。
此時 $(\lambda,\vec{v})$ 稱為一組 eigenpair。
若 $A$ 為 $n\times n$ matrix，則矩陣版本為 $
A\vec{x}=\lambda\vec{x},\qquad \vec{x}\ne\vec{0}$
若 $A\vec{x}=\lambda\vec{x}$ 且 $\vec{x}\ne\vec{0}$，則對任意 $c\ne0$，$c\vec{x}$ 仍為 $A$ 相對於 $\lambda$ 的
eigenvector。若 $A\vec{x}_1=\lambda\vec{x}_1$、$A\vec{x}_2=\lambda\vec{x}_2$，且 $\vec{x}_1,\vec{x}_2\ne\vec{0}$，則 $A(\vec{x}_1+\vec{x}_2)=\lambda(\vec{x}_1+\vec{x}_2)$
- $\vec{x}_1+\vec{x}_2$ 不一定非零。因此
eigenvectors相加不一定仍是eigenvector，除非 $\vec{x}_1+\vec{x}_2\ne\vec{0}$。
- $\vec{x}_1+\vec{x}_2$ 不一定非零。因此
定義
令 $T:V\to V$ 為 linear operator。取 $V$ 的任一組 ordered basis $\beta$，定義
- $\operatorname{tr}(T)=\operatorname{tr}([T]_{\beta}^{\beta})$
- $\det(T)=\det([T]_{\beta}^{\beta})$
若 $\beta,\gamma$ 為 $V$ 的兩組 ordered bases，$[T]{\beta}^{\beta}\sim [T]{\gamma}^{\gamma}$。則
- $\operatorname{tr}([T]{\beta}^{\beta})=\operatorname{tr}([T]{\gamma}^{\gamma})$
- $\det([T]{\beta}^{\beta})=\det([T]{\gamma}^{\gamma})$
定理
令 $A$ 為 $n\times n$ matrix，$\lambda\in F$。
則 $\lambda\in\lambda(A)\Longleftrightarrow \det(A-\lambda I)=0$
定義令 $A$ 為 $n\times n$ matrix，定義 $P_A(x)=\det(A-xI)$ 為 $A$ 的 characteristic polynomial (特徵多項式)。
若 $A=[a{ij}]{n\times n}$，則
因此 $P_A(x)$ 為 $n$ 次多項式，且首項為 $(-1)^nx^n$，常數項為 $\det(A)$。
$(-x)^{n-1}$ 的係數為 $a{11}+a{22}+\cdots+a_{nn}=\operatorname{tr}(A)$
所以 $P_A(x)=(-1)^nx^n+(-1)^{n-1}\operatorname{tr}(A)x^{n-1}+\cdots+\det(A)$
特別地，當 $A$ 為 $2\times2$ matrix 時 $P_A(x)=x^2-\operatorname{tr}(A)x+\det(A)$
定義
令 $T:V\to V$ 為 linear operator，且 $\lambda\in\lambda(T)$。定義 $V(\lambda)={\vec{v}\in V\mid T(\vec{v})=\lambda\vec{v}}$ 為 $T$ 相對於 $\lambda$ 的 eigenspace (特徵空間)。
- $V(\lambda)=\ker(T-\lambda I)$
- $V(\lambda)\overset{s}{\subseteq}V$
令 $T:V\to V$ 為 linear operator，且 $\lambda\in\lambda(T)$。
則 $V(\lambda)$ 為 $T$-invariant subspace。
Note令 $A$ 為 $n\times n$ matrix。
- $\lambda(A)=\lambda(A^T)$
- $PA(x)=\det(A-xI)=\det((A-xI)^T)=\det(A^T-xI)=P{A^T}(x)$
- $A$ 與 $A^T$ 不一定有相同的 eigenvectors
定理
令 $A$ 為 $n\times n$ matrix，且 $\lambda_1,\dots,\lambda_r$ 為 $A$ 的相異 eigenvalues。
(1) $V(\lambda_1),\dots,V(\lambda_r)$ 為 independent subspaces。
(2) 若 $\vec{x}_1,\dots,\vec{x}_r$ 分別為 $A$ 相對於 $\lambda_1,\dots,\lambda_r$ 的 eigenvectors，則 $\vec{x}_1,\dots,\vec{x}_r$ 為 LI。
也就是說: 相異 eigenvalues 對應的 eigenvectors 一定線性獨立。
定理令 $A,B$ 為 $n\times n$ matrix。若 $A\sim B$，則
- $P_A(x)=P_B(x)$
- $\lambda(A)=\lambda(B)$
令 $A,B$ 為 $n\times n$ matrices，則 $AB$ 與 $BA$ 具有相同的 eigenvalues。
Note
若 $A\vec{x}=\lambda\vec{x}$，且 $\vec{x}\ne\vec{0}$，則 $A^2\vec{x}=A(A\vec{x})=A(\lambda\vec{x})=\lambda A\vec{x}=\lambda^2\vec{x}$
同理可得 $A^k\vec{x}=\lambda^k\vec{x}$
定理eigenvalue 表現定理:
若 $A\vec{x}=\lambda\vec{x}$，且 $\vec{x}\ne\vec{0}$，則有下列常用結果:
| matrix | eigenvalue | eigenvector |
|---|---|---|
| $A$ | $\lambda$ | $\vec{x}$ |
| $A^T$ | $\lambda$ | 不一定是 $\vec{x}$ |
| $A^H$ | $\overline{\lambda}$ | 不一定是 $\vec{x}$ |
| $A^{-1}$ | $\lambda^{-1}$ | $\vec{x}$ |
| $A^k$ | $\lambda^k$ | $\vec{x}$ |
| $\alpha A$ | $\alpha\lambda$ | $\vec{x}$ |
| $A+\alpha I$ | $\lambda+\alpha$ | $\vec{x}$ |
| $f(A)$ | $f(\lambda)$ | $\vec{x}$ |
令
求 $\lambda(A)$。
對角化
定義函數版本: 令 $T:V\to V$ 為 linear operator。若存在 $V$ 的一組 basis $\beta$，使得 $[T]_{\beta}^{\beta}=D$ 為對角矩陣，則稱 $T$ 可對角化 (
diagonalizable)。矩陣版本: 令 $A$ 為 $n\times n$ matrix。若存在可逆矩陣 $P$，使得 $P^{-1}AP=D$ (相似) 為對角矩陣，則稱 $A$ 可對角化 (
diagonalizable)。
令 $T:V\to V$ 為 linear operator，且 $\operatorname{dim}(V)=n$。
則 $T$ 可對角化 $\Longleftrightarrow$ $T$ 含有 $n$ 個 LI eigenvectors。
定理令 $A$ 為 $n\times n$ matrix。
則 $A$ 可對角化 $\Longleftrightarrow$ $A$ 含有 $n$ 個 LI eigenvectors。
Note- 若 $A$ 可對角化，則
- $P$ 的行向量為 $A$ 的 eigenvectors
- $D$ 的對角項為對應的 eigenvalues。
- $P$ 不唯一，但 $D$ 唯一 (不考慮排列順序)。
- 若 $A$ 不具 $n$ 個 LI eigenvectors，則稱 $A$ 為
defective matrix，也就是 $A$ 不可對角化。
定義
令 $A$ 為 $n\times n$ matrix，且 $\lambda\in\lambda(A)$。
代數重數 (algebraic multiplicity): $\lambda$ 在 $P_A(x)$ 之重根數，記作 $\operatorname{am}(\lambda)$。幾何重數 (geometric multiplicity): $\operatorname{gm}(\lambda)=\operatorname{dim}(V(\lambda))$。- $\operatorname{gm}(\lambda)=\operatorname{dim}(V(\lambda))=\operatorname{dim}(\operatorname{ker}(A-\lambda I))=\operatorname{nullity}(A-\lambda I)=n-\operatorname{rank}(A-\lambda I)$
令 $A$ 為 $n\times n$ matrix，且 $\lambda\in\lambda(A)$。
則 $\operatorname{gm}(\lambda)\le \operatorname{am}(\lambda)$
令 $A$ 為 $n\times n$ matrix，且 $\lambda\in\lambda(A)$。
- $1\le \operatorname{gm}(\lambda)\le \operatorname{am}(\lambda)\le n$。
- 若 $\operatorname{am}(\lambda)=1$，則 $\operatorname{gm}(\lambda)=1$。
定義
令 $f(x)\in P_n$。若 $f(x)$ 的所有根皆落在 $F$ 中，則稱 $f(x)$ split over $F$。
例如 $f(x)=x^2+1$ split over $\mathbb{C}$，但不 split over $\mathbb{R}$。
定理令 $A$ 為 $n\times n$ matrix，且 $P_A(x)$ split over $F$。若 $A$ 的 eigenvalues 為 $\lambda_1,\lambda_2,\dots,\lambda_n$，包含重複計算，則
- $\det(A)=\lambda_1\lambda_2\cdots\lambda_n$。
- 因 $P_A(x)=(\lambda_1-x)\cdots(\lambda_n-x)$，令 $x=0$，得 $P_A(0)=\det(A)=\lambda_1\cdots\lambda_n$。
- $\operatorname{tr}(A)=\lambda_1+\lambda_2+\cdots+\lambda_n$。
- 比較 $P_A(x)$ 中 $(-x)^{n-1}$ 的係數，一邊為 $\operatorname{tr}(A)$，另一邊為 $\lambda_1+\cdots+\lambda_n$。
此外，對任意正整數 $k$，有 $\operatorname{tr}(A^k)=\lambda_1^k+\lambda_2^k+\cdots+\lambda_n^k$
範例
令
則
- $\lambda=a-b$，重數為 $n-1$。
- $\lambda=a+(n-1)b$，重數為 $1$。
- $P_A(x)=[(a-b)-x]^{n-1}[a+(n-1)b-x]$。
- $\det(A)=(a-b)^{n-1}[a+(n-1)b]$。
- $A$ 可對角化。
定理
令 $T:V\to V$ 為 linear operator，且 $\operatorname{dim}(V)=n$。設 $\lambda_1,\dots,\lambda_r$ 為 $T$ 的相異 eigenvalues。
則 $T$ 可對角化
$\Longleftrightarrow P_T(x) \text{ split over } F \text{ 且 } \operatorname{gm}(\lambda_i)=\operatorname{am}(\lambda_i), \forall i=1,\dots,r$
$\Longleftrightarrow V=V(\lambda_1)\oplus\cdots\oplus V(\lambda_r)$
令 $A$ 為 $n\times n$ matrix。若 $A$ 具有 $n$ 個相異 eigenvalues，則 $A$ 可對角化。
- 相異 eigenvalues 對應的 eigenvectors 必為 LI，所以可找到 $n$ 個 LI eigenvectors。
令 $A$ 為 $n\times n$ matrix。若 $A$ 可對角化，則
- $A^{-1}$ 可對角化，前提是 $A$ 可逆。
- $A^T$ 可對角化。
不是每個 matrix 都可對角化。判斷時常用以下三種方式:
- 找到 $n$ 個
LI eigenvectors。 - 確認每個 eigenvalue 皆滿足 $\operatorname{gm}(\lambda)=\operatorname{am}(\lambda)$。
- 確認所有
eigenspaces 可形成整個空間的直和。
定義
令 $A,B$ 皆為 $n\times n$ matrices。若 $A$ 與 $B$ 具有同一組由 eigenvectors 組成的 basis，則稱 $A,B$ 可同步對角化 (simultaneously diagonalizable)。
等價地，存在同一個可逆矩陣 $P$，使得 $P^{-1}AP$ 與 $P^{-1}BP$ 皆為對角矩陣。
冪等算子
定義令 $T:V\to V$ 為 linear operator。若 $T^2=T$，則稱 $T$ 為
idempotent operator。令 $A$ 為 $n\times n$ matrix。若 $A^2=A$，則稱 $A$ 為
idempotent matrix。
對任意 linear operator $T$，有
- $\ker(T)\subseteq \ker(T^2)\subseteq \ker(T^3)\subseteq \cdots$。
- $\operatorname{Im}(T)\supseteq \operatorname{Im}(T^2)\supseteq \operatorname{Im}(T^3)\supseteq \cdots$。
若 $T^2=T$，則對任意 $\vec{v}\in \operatorname{Im}(T)$，可寫成 $\vec{v}=T(\vec{u})$，因此 $T(\vec{v})=T^2(\vec{u})=T(\vec{u})=\vec{v}$。
所以 $\operatorname{Im}(T)\subseteq V(1)$。反之，若 $\vec{v}\in V(1)$，則 $T(\vec{v})=\vec{v}$，故 $\vec{v}\in \operatorname{Im}(T)$。
因此 $V(1)=\operatorname{Im}(T)$。
若 $T^2=T$，則
- $\ker(T)=\ker(T^2)$。
- $\operatorname{nullity}(T)=\operatorname{nullity}(T^2)$。
- $\operatorname{rank}(T)=\operatorname{rank}(T^2)$。
- $\operatorname{Im}(T)=\operatorname{Im}(T^2)$。
定理
令 $T:V\to V$ 為 linear operator。則下列敘述等價:
- $V=\ker(T)\oplus \operatorname{Im}(T)$。
- $V=\ker(T)+\operatorname{Im}(T)$。
- $\ker(T)\cap \operatorname{Im}(T)={\vec{0}}$。
也就是說，當上述條件成立時，$\ker(T)$ 與 $\operatorname{Im}(T)$ 形成 $V$ 的 direct sum decomposition。
定理令 $T:V\to V$ 為 idempotent operator，即 $T^2=T$。則 $V=\ker(T)\oplus \operatorname{Im}(T)$
證明先證 $V=\ker(T)+\operatorname{Im}(T)$。任取 $\vec{v}\in V$，可寫成 $\vec{v}=(\vec{v}-T(\vec{v}))+T(\vec{v})$
其中 $T(\vec{v})\in \operatorname{Im}(T)$
且 $T(\vec{v}-T(\vec{v}))=T(\vec{v})-T^2(\vec{v})=\vec{0}$，故 $\vec{v}-T(\vec{v})\in \ker(T)$。
得到 $V=\ker(T)\oplus \operatorname{Im}(T)$ (by 前一個定理)。
定理令 $T:V\to V$ 為 linear operator，且 $T^2=T$。則
- $T$ 的 eigenvalues 只可能為 $0$ 或 $1$。
- 由 $T^2=T$ 得 $\lambda^2\vec{v}=T^2(\vec{v})=T(\vec{v})=\lambda\vec{v}$，故 $\lambda^2=\lambda$，即 $\lambda=0$ 或 $1$。
- $V(0)=\ker(T)$，$V(1)=\operatorname{Im}(T)$。
- $V(0)=\ker(T-0I)=\ker(T)$。
- $V(1)=\operatorname{Im}(T)$ 前面證明過。
- $T$ 可對角化，且存在 $V$ 的一組 basis $\beta$，使 $
[T]_{\beta}=D=\begin{bmatrix}
I_r&0\
0&0
\end{bmatrix},\quad r=\operatorname{rank}(T)$。
令 $A$ 為 $n\times n$ matrix，且 $A^2=A$。定義 $T(\vec{x})=A\vec{x}$，則 $T^2=T$，所以
- $A$ 的 eigenvalues 只可能為 $0$ 或 $1$。
- $V(0)=\ker(A)$，$V(1)=\operatorname{CS}(A)$。
- $A$ 可對角化，且 $A\sim D=\begin{bmatrix} I_r&0\
0&0 \end{bmatrix}$，其中 $r=\operatorname{rank}(A)$。 - $\operatorname{tr}(A)=\operatorname{tr}(D)=r=\operatorname{rank}(A)$。
對角化的應用
Note若存在可逆矩陣 $P$ 使
則 $A=PDP^{-1}$。因此
更一般地，若 $f(x)$ 為 polynomial，則
範例
Markov chain
定義stochastic process(隨機過程): 隨時間變化的隨機系統。Markov process: 下一步狀態只與目前狀態有關，與更早以前的狀態無關。Markov matrix/stochastic matrix: entries 皆 $\ge 0$，且每一欄和為 $1$ 的矩陣，也稱transition matrix。probability vector(機率向量): entries 皆 $\ge 0$，且 entries 總和為 $1$ 的向量。
若 $\vec{x}0$ 為 initial probability vector，則 $\vec{x}_n=A\vec{x}{n-1}=A^n\vec{x}_0$
- $\vec{x}_n$ 為第 $n$ 個 generation 的 probability vector。
若 probability vector $\vec{x}$ 滿足 $A\vec{x}=\vec{x}$，則稱 $\vec{x}$ 為
steady-state vector，也就是 $\vec{x}\in\ker(A-I)$。若 $A$ 為 transition matrix，且存在 $k\in\mathbb{Z}^+$ 使 $A^k$ 中每一項皆為正，則稱 $A$ 為
regular transition matrix。
令 $A$ 為 $n\times n$ regular transition matrix。則存在唯一的 steady-state vector $\vec{x}$，使得
即長期狀態會趨近同一個 steady-state vector，與初始狀態無關。
若 $\vec{x}_0$ 為 initial probability vector，則
