考研相關文章參考資料為 wjungle 大神提供的筆記

Ch3 向量空間

定義

定義

VV\ne\emptyset, FFfield。若在 VV 上定義二元運算:

  • 向量加法 +:V×VV+:V\times V\to V
  • 純量積 :F×VV\cdot:F\times V\to V

且滿足以下公設:

封閉性
  • u,vV\forall \vec{u},\vec{v}\in V, u+vV\vec{u}+\vec{v}\in V
  • cF\forall c\in F, vV\forall \vec{v}\in V, cvVc\vec{v}\in V
交換、結合律
  • u,vV\forall \vec{u},\vec{v}\in V, u+v=v+u\vec{u}+\vec{v}=\vec{v}+\vec{u}
  • u,v,wV\forall \vec{u},\vec{v},\vec{w}\in V, (u+v)+w=u+(v+w)(\vec{u}+\vec{v})+\vec{w}=\vec{u}+(\vec{v}+\vec{w})
零元素、反元素
  • 0V\exists \vec{0}\in V 使得 vV\forall \vec{v}\in V, v+0=v\vec{v}+\vec{0}=\vec{v}
  • vV\forall \vec{v}\in V, vV\exists -\vec{v}\in V 使得 v+(v)=0\vec{v}+(-\vec{v})=\vec{0}
分配律
  • cF\forall c\in F, u,vV\forall \vec{u},\vec{v}\in V, c(u+v)=cu+cvc(\vec{u}+\vec{v})=c\vec{u}+c\vec{v}
  • c,dF\forall c,d\in F, vV\forall \vec{v}\in V, (c+d)v=cv+dv(c+d)\vec{v}=c\vec{v}+d\vec{v}
結合律-純量積
  • c,dF\forall c,d\in F, vV\forall \vec{v}\in V, c(dv)=(cd)vc(d\vec{v})=(cd)\vec{v}
單位元素
  • vV\forall \vec{v}\in V, 1v=v1\vec{v}=\vec{v}

則稱 VV 為一個 vector space over FF


常見的向量空間

歐氏空間 (Euclidean space)

V=Fn={(x1,x2,,xn)x1,x2,,xnF}V=F^n=\{(x_1,x_2,\cdots,x_n)\mid x_1,x_2,\cdots,x_n\in F\}

其向量加法與純量積定義為:

  • (x1,x2,,xn)+(y1,y2,,yn)=(x1+y1,x2+y2,,xn+yn)(x_1,x_2,\cdots,x_n)+(y_1,y_2,\cdots,y_n)=(x_1+y_1,x_2+y_2,\cdots,x_n+y_n)
  • c(x1,x2,,xn)=(cx1,cx2,,cxn)c(x_1,x_2,\cdots,x_n)=(cx_1,cx_2,\cdots,cx_n)

矩陣空間

V=Fm×n={AA 為 m×n matrix over F}V=F^{m\times n}=\{A\mid A\text{ 為 }m\times n\text{ matrix over }F\}

其向量加法為矩陣加法,純量積為矩陣純量積。


多項式空間

V=P={pp 為係數在 F 中的 polynomial}V=P=\{p\mid p\text{ 為係數在 }F\text{ 中的 polynomial}\}

例如:

  • p(x)=2+3x+4x2p(x)=2+3x+4x^2, deg(p)=2\deg(p)=2
  • q(x)=56x+3x2+4x3q(x)=5-6x+3x^2+4x^3, deg(q)=3\deg(q)=3

其向量加法與純量積定義為:

  • (p+q)(x)=p(x)+q(x)(p+q)(x)=p(x)+q(x)
  • (cp)(x)=cp(x)(cp)(x)=c\,p(x)

n 次多項式空間

V=Pn={pPdeg(p)n}V=P_n=\{p\in P\mid \deg(p)\le n\}

也就是所有次數不超過 nn 的多項式所成的向量空間。


函數空間

V=F(D,F)={ff:DF 為 function}V=\mathcal{F}(D,F)=\{f\mid f:D\to F\text{ 為 function}\}

其向量加法與純量積定義為:

  • (f+g)(x)=f(x)+g(x)(f+g)(x)=f(x)+g(x)
  • (cf)(x)=cf(x)(cf)(x)=c\,f(x)

連續函數空間

V=C[a,b]={ff:[a,b]F 為 continuous function}V=C[a,b]=\{f\mid f:[a,b]\to F\text{ 為 continuous function}\}

C[a,b]C[a,b] 是函數空間 F([a,b],F)\mathcal{F}([a,b],F) 的一個常見子空間。

子空間

定義

已知 (V,+,)(V,+,\cdot)vector space。若:

  1. WVW\subseteq V
  2. (W,+,)(W,+,\cdot) 本身也是 vector space

則稱 WWVVsubspace,記作 WsVW\overset{s}{\subseteq}V


定理

已知 VVvector spaceWVW\subseteq V,且 WW\ne\emptyset。則以下條件等價:

  1. WsVW\overset{s}{\subseteq}V
  2. WW 對向量加法與純量積封閉:
    • u,vW\forall \vec{u},\vec{v}\in W, u+vW\vec{u}+\vec{v}\in W
    • cF\forall c\in F, vW\forall \vec{v}\in W, cvWc\vec{v}\in W
  3. c,dF\forall c,d\in F, u,vW\forall \vec{u},\vec{v}\in W, cu+dvWc\vec{u}+d\vec{v}\in W
  4. cF\forall c\in F, u,vW\forall \vec{u},\vec{v}\in W, cu+vWc\vec{u}+\vec{v}\in W
Note

判斷 WW 是否為 VV 的子空間時,不必重新檢查 vector space 的 10 條公設。因為 VV 已經滿足這些公設,只需要確認:

  • WVW\subseteq V
  • WW\ne\emptyset
  • WW 對向量加法與純量積封閉

子空間的必要條件:

WsVW\overset{s}{\subseteq}V,則:

  1. 0W\vec{0}\in W
  2. u,vW\forall \vec{u},\vec{v}\in W, uvW\vec{u}-\vec{v}\in W
  3. vW\forall \vec{v}\in W, vW-\vec{v}\in W

其中 0W\vec{0}\in W 很重要:

  • 0W\vec{0}\notin W,則 WW 不是子空間。
  • 0W\vec{0}\in W,仍不能直接判定 WW 是子空間,還需要檢查封閉性。
Note

R2\mathbb{R}^2 的 subspace 有三種類型:

  1. {(0,0)}={0}\{(0,0)\}=\{\vec{0}\}: zero space
  2. R2\mathbb{R}^2: 整個空間本身
  3. 通過原點的一條直線

定理

W1,W2sVW_1,W_2\overset{s}{\subseteq}V,則 W1W2sVW_1\cap W_2\overset{s}{\subseteq}V

Note

W1,W2sVW_1,W_2\overset{s}{\subseteq}V,通常 W1W2W_1\cup W_2 不一定是 VV 的子空間。

反例: 令 V=R2V=\mathbb{R}^2

W1={(x,0)xR}W_1=\{(x,0)\mid x\in\mathbb{R}\}W2={(0,y)yR}W_2=\{(0,y)\mid y\in\mathbb{R}\}

W1sVW_1\overset{s}{\subseteq}VW2sVW_2\overset{s}{\subseteq}V,但是:

  • (1,0)W1W1W2(1,0)\in W_1\subseteq W_1\cup W_2
  • (0,1)W2W1W2(0,1)\in W_2\subseteq W_1\cup W_2
  • (1,0)+(0,1)=(1,1)W1W2(1,0)+(0,1)=(1,1)\notin W_1\cup W_2

所以 W1W2W_1\cup W_2 對向量加法不封閉,故 W1W2W_1\cup W_2 不是子空間。

定理

W1,W2sVW_1,W_2\overset{s}{\subseteq}V,則:

W1W2sV    W1W2 or W2W1W_1\cup W_2\overset{s}{\subseteq}V\iff W_1\subseteq W_2~\text{or}~W_2\subseteq W_1

和空間

定義

W1,W2sVW_1,W_2\overset{s}{\subseteq}V,定義:

W1+W2={w1+w2w1W1,w2W2}W_1+W_2=\{\vec{w}_1+\vec{w}_2\mid \vec{w}_1\in W_1,\vec{w}_2\in W_2\}

W1+W2W_1+W_2W1W_1W2W_2sum space

定理

W1,W2sVW_1,W_2\overset{s}{\subseteq}V,則 W1+W2sVW_1+W_2\overset{s}{\subseteq}V

四大空間

定義

AAm×nm\times n matrix,定義四個基本子空間:

  1. ker(A)={xFn×1Ax=0}\ker(A)=\{\vec{x}\in F^{n\times 1}\mid A\vec{x}=\vec{0}\},稱為 AAkernel/null space
  2. Lker(A)={xF1×mxA=0}\operatorname{Lker}(A)=\{\vec{x}\in F^{1\times m}\mid \vec{x}A=\vec{0}\},稱為 AAleft kernel
  3. CS(A)={AxxFn×1}\operatorname{CS}(A)=\{A\vec{x}\mid \vec{x}\in F^{n\times 1}\},稱為 AAcolumn space
  4. RS(A)={xAxF1×m}\operatorname{RS}(A)=\{\vec{x}A\mid \vec{x}\in F^{1\times m}\},稱為 AArow space
定理

AFm×nA\in F^{m\times n},則:

  1. ker(A)sFn×1\ker(A)\overset{s}{\subseteq}F^{n\times 1}
  2. Lker(A)sF1×m\operatorname{Lker}(A)\overset{s}{\subseteq}F^{1\times m}
  3. CS(A)sFm×1\operatorname{CS}(A)\overset{s}{\subseteq}F^{m\times 1}
  4. RS(A)sF1×n\operatorname{RS}(A)\overset{s}{\subseteq}F^{1\times n}
Note

矩陣乘積對四大空間的影響:

  • ker(B)ker(AB)\ker(B)\subseteq\ker(AB)。若 AA 為 nonsingular,則 ker(B)=ker(AB)\ker(B)=\ker(AB)
  • Lker(A)Lker(AB)\operatorname{Lker}(A)\subseteq\operatorname{Lker}(AB)
  • CS(AB)CS(A)\operatorname{CS}(AB)\subseteq\operatorname{CS}(A)。若 BB 為可逆,則 CS(AB)=CS(A)\operatorname{CS}(AB)=\operatorname{CS}(A)
  • RS(AB)RS(B)\operatorname{RS}(AB)\subseteq\operatorname{RS}(B)

列運算與行運算對四大空間的影響:

  • ArBA\overset{r}{\sim}B,則 ker(A)=ker(B)\ker(A)=\ker(B)RS(A)=RS(B)\operatorname{RS}(A)=\operatorname{RS}(B)
  • AcBA\overset{c}{\sim}B,則 Lker(A)=Lker(B)\operatorname{Lker}(A)=\operatorname{Lker}(B)CS(A)=CS(B)\operatorname{CS}(A)=\operatorname{CS}(B)

生成與線性獨立

定義

SS\ne\emptysetSVS\subseteq V。若

  • SS 中任意有限個向量為 v1,v2,,vk\vec{v}_1,\vec{v}_2,\dots,\vec{v}_k
  • FF 中任意有限個純量為 a1,a2,,aka_1,a_2,\dots,a_k

v=a1v1+a2v2++akvk\vec{v}=a_1\vec{v}_1+a_2\vec{v}_2+\cdots+a_k\vec{v}_k 稱為 SS 的一個 linear combination

定義

SVS\subseteq V,定義 span(S)\operatorname{span}(S)SS 中所有 linear combination 所成的集合,稱為 SSspan


定理

ArBA\overset{r}{\sim}B,則 AABB 之行向量的線性組合關係式不變。

Note
  1. span(S)sV\operatorname{span}(S)\overset{s}{\subseteq}V
  2. span(S)\operatorname{span}(S) 為包含 SS 的最小子空間。
  3. SsV    span(S)=SS\overset{s}{\subseteq}V\iff \operatorname{span}(S)=S
  4. 定義 span()={0}\operatorname{span}(\emptyset)=\{\vec{0}\},且 {0}\{\vec{0}\}\ne\emptyset
  5. S1S2S_1\subseteq S_2,則 span(S1)span(S2)\operatorname{span}(S_1)\subseteq\operatorname{span}(S_2)
  6. span({0})={0}\operatorname{span}(\{\vec{0}\})=\{\vec{0}\}

定理

W1=span(S1)W_1=\operatorname{span}(S_1)W2=span(S2)W_2=\operatorname{span}(S_2),則 W1+W2=span(S1S2)W_1+W_2=\operatorname{span}(S_1\cup S_2)

推廣: 若 Wi=span(Si)W_i=\operatorname{span}(S_i)i=1,,ki=1,\dots,k,則 W1+W2++Wk=span(S1S2Sk)W_1+W_2+\cdots+W_k=\operatorname{span}(S_1\cup S_2\cup\cdots\cup S_k)

獨立 & 相依

定義

SS\ne\emptysetSVS\subseteq V

  • linearly dependent (LD): 存在 v1,v2,,vkS\vec{v}_1,\vec{v}_2,\dots,\vec{v}_k\in S,以及不全為 00 的純量 c1,c2,,ckFc_1,c_2,\dots,c_k\in F,使得 c1v1+c2v2++ckvk=0c_1\vec{v}_1+c_2\vec{v}_2+\cdots+c_k\vec{v}_k=\vec{0}

  • linearly independent (LI): 對任意 v1,v2,,vkS\vec{v}_1,\vec{v}_2,\dots,\vec{v}_k\in S,若 c1v1+c2v2++ckvk=0c_1\vec{v}_1+c_2\vec{v}_2+\cdots+c_k\vec{v}_k=\vec{0}c1=c2==ck=0c_1=c_2=\cdots=c_k=0

Note
  • S1S2S_1\subseteq S_2,且 S2S_2 為 LI,則 S1S_1 為 LI。
  • S1S2S_1\subseteq S_2,且 S1S_1 為 LD,則 S2S_2 為 LD。
  • 0S\vec{0}\in S,則 SS 為 LD。
  • v0\vec{v}\ne\vec{0},則 {v}\{\vec{v}\} 為 LI。
  • \emptyset 為 LI。

特別地:

  • {0}\{\vec{0}\} 為 LD。
  • {v}\{\vec{v}\} 為 LI,若 v0\vec{v}\ne\vec{0}

定義

f1,f2,,fnCn1[a,b]f_1,f_2,\dots,f_n\in C^{n-1}[a,b] (n1n-1 次可微),定義

W(x)= \begin{vmatrix} f_1 & f_2 & \cdots & f_n \\\ f_1' & f_2' & \cdots & f_n' \\\ \vdots & \vdots & \ddots & \vdots \\\ f_1^{(n-1)} & f_2^{(n-1)} & \cdots & f_n^{(n-1)} \end{vmatrix}

稱其為 f1,f2,,fnf_1,f_2,\dots,f_nWronskian

定理

W(x)W(x) 不是 zero function,則 f1,f2,,fnf_1,f_2,\dots,f_n 為 LI。

  • 存在 x0[a,b]x_0\in[a,b] 使得 W(x0)0W(x_0)\ne0
Note

W(x)=0W(x)=0,不一定可推出 f1,f2,,fnf_1,f_2,\dots,f_n 為 LD。

反例: 在 [1,1][-1,1] 上令 f1(x)=x2f_1(x)=x^2, f2(x)=xxf_2(x)=x|x|,則 W(x)=0W(x)=0f1,f2f_1,f_2 為 LI。

基底與維度

定義

SVS\subseteq V。若 SS 滿足:

  • SS 生成 VV,也就是 span(S)=V\operatorname{span}(S)=V
  • SS 為 LI

則稱 SSVV 的一組 basis

Note
  • 基底未必唯一。
  • VV 之每一組 basis 中向量的個數必唯一,稱為 VVdimension,記作 dim(V)\dim(V)

定理

β={v1,,vn}\beta=\{\vec{v}_1,\dots,\vec{v}_n\}VV 的一組 basis,則對任意 vV\vec{v}\in Vv\vec{v} 可唯一寫成 β\beta 中向量的 LC。

定理

生成裁減: 已知 SS 生成 VV,若 SS 不獨立,則存在 uS\vec{u}\in S,使得 S{u}S-\{\vec{u}\} 仍生成 VV

定理

獨立擴增: 已知 SS 為 LI,若 SS 不生成 VV,則存在 uS\vec{u}\notin S,使得 S{u}S\cup\{\vec{u}\} 仍為 LI。

  • uspan(S)\vec{u}\notin\operatorname{span}(S)
Note

判斷基底的良好工具:

  • SS 生成 VV,且 SS' 為 LI,則 SS|S'|\le |S|
  • 基底可視為最小生成集最大獨立集
  • dim(V)=n\dim(V)=n,則:
    • SS 生成 VV Sn\Rightarrow |S|\ge n
    • SS 為 LI Sn\Rightarrow |S|\le n
    • S<n|S|<n S\Rightarrow S 不生成 VV
    • S>n|S|>n S\Rightarrow S 為 LD
  • dim(V)=n=S\dim(V)=n=|S|,則:
    • SS 生成 VV S\Rightarrow SVV 的一組 basis
    • SS 為 LI S\Rightarrow SVV 的一組 basis

Note

A:m×nA:m\times n,且 A=[a1,,an]=[A1Am]A=[\vec{a}_1,\dots,\vec{a}_n]=\begin{bmatrix}A_1\\\vdots\\A_m\end{bmatrix}

  • CS(A)=span{a1,,an}CS(A)=\operatorname{span}\{\vec{a}_1,\dots,\vec{a}_n\}
  • RS(A)=span{A1,,Am}RS(A)=\operatorname{span}\{A_1,\dots,A_m\}

Note

A:n×nA:n\times n。以下條件彼此等價:

  • AA 可逆。
  • Ax=0x=0A\vec{x}=\vec{0} \Rightarrow \vec{x}=\vec{0}
  • ker(A)={0}\operatorname{ker}(A)=\{\vec{0}\},也就是 dim(ker(A))=0\dim(\operatorname{ker}(A))=0
  • AA 的行向量 a1,,an\vec{a}_1,\dots,\vec{a}_n 為 LI。
  • AA 的行向量形成 Fn×1F^{n\times 1} 的一組 basis
  • AA 的行向量生成 Fn×1F^{n\times 1},也就是 CS(A)=Fn×1CS(A)=F^{n\times 1}
  • dim(CS(A))=n\dim(CS(A))=n

同理,從非主流角度看也有以下等價條件:

  • xA=0x=0\vec{x}A=\vec{0} \Rightarrow \vec{x}=\vec{0}
  • Lker(A)={0}\operatorname{Lker}(A)=\{\vec{0}\},也就是 dim(Lker(A))=0\dim(\operatorname{Lker}(A))=0
  • AA 的列向量為 LI。
  • AA 的列向量形成 F1×nF^{1\times n} 的一組 basis
  • AA 的列向量生成 F1×nF^{1\times n},也就是 RS(A)=F1×nRS(A)=F^{1\times n}
  • dim(RS(A))=n\dim(RS(A))=n

定理

WsVW\overset{s}{\subseteq}V,則 W=V    dim(W)=dim(V)W=V\iff \dim(W)=\dim(V)

定理

W1,W2sVW_1,W_2\overset{s}{\subseteq}V,則 dim(W1+W2)=dim(W1)+dim(W2)dim(W1W2)\dim(W_1+W_2)=\dim(W_1)+\dim(W_2)-\dim(W_1\cap W_2)

直和

定義

W1,W2sVW_1,W_2\overset{s}{\subseteq}V。若滿足:

  • V=W1+W2V=W_1+W_2
  • W1W2={0}W_1\cap W_2=\{\vec{0}\}

則稱 W1,W2W_1,W_2 形成 VV 之一 direct sum,記作 V=W1W2V=W_1\oplus W_2

範例

V=Rn×nV=\mathbb{R}^{n\times n},並定義 W1={AVAT=A},W2={AVAT=A}W_1=\{A\in V\mid A^T=A\},W_2=\{A\in V\mid A^T=-A\},證明 V=W1W2V=W_1\oplus W_2

Step1

證明 V=W1+W2V=W_1+W_2: 對任意 AVA\in V,令:

B=A+AT2,C=AAT2B=\frac{A+A^T}{2},\qquad C=\frac{A-A^T}{2}

則:

A=B+C=A+AT2+AAT2A=B+C=\frac{A+A^T}{2}+\frac{A-A^T}{2}

且:

BT=(A+AT2)T=AT+A2=BB^T=\left(\frac{A+A^T}{2}\right)^T=\frac{A^T+A}{2}=B

CT=(AAT2)T=ATA2=CC^T=\left(\frac{A-A^T}{2}\right)^T=\frac{A^T-A}{2}=-C

所以 BW1B\in W_1CW2C\in W_2,故 V=W1+W2V=W_1+W_2

Step2

證明 W1W2={0}W_1\cap W_2=\{0\}

AW1W2A\in W_1\cap W_2,則 AT=AA^T=AAT=AA^T=-A,因此 A=AA=-A,得到 2A=02A=0,所以 A=0A=0

因此 W1W2={0}W_1\cap W_2=\{0\},故: V=W1W2V=W_1\oplus W_2

定義

W1,,WksVW_1,\dots,W_k\overset{s}{\subseteq}V。若滿足:

  • V=W1++WkV=W_1+\cdots+W_k
  • WijiWj={0}W_i\cap \sum_{j\ne i}W_j=\{\vec{0}\},對所有 i=1,,ki=1,\dots,k

則稱 W1,,WkW_1,\dots,W_k 形成 VV 之一 direct sum,記作 V=W1WkV=W_1\oplus\cdots\oplus W_k


定理

W1,,WkW_1,\dots,W_kindependent subspace     dim(W1++Wk)=dim(W1)++dim(Wk)\iff \dim(W_1+\cdots+W_k)=\dim(W_1)+\cdots+\dim(W_k)

Note

V=W1WkV=W_1\oplus\cdots\oplus W_k,且 βi\beta_iWiW_i 的一組 basis,則 β=β1βk\beta=\beta_1\cup\cdots\cup\beta_kVV 的一組 basis

  • 一般的 W1++WkW_1+\cdots+W_k 只保證生成,不一定 LI;只有在 direct sum 時,基底聯集才會形成整個空間的基底。