方程组的几何解释

\[\begin{cases} 2x-y&=0 \\ -x+2y&=3 \end{cases} \iff \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix} \iff x\begin{bmatrix} 2 \\ -1 \end{bmatrix}+ y\begin{bmatrix} -1 \\ 2 \end{bmatrix} =\begin{bmatrix} 0 \\ 3 \end{bmatrix}\]

1. 直角左边系中，两条线的交点
2. 向量空间中，两个向量的组合

消元法

elimination

\[\begin{cases} x + 2y + z &= 2 \\ 3x + 8y + z &= 12 \\ 4y + z &= 2 \end{cases} \Rightarrow \begin{bmatrix} 1 & 2 & 1 &\bigm| & 2 \\ 3 & 8 & 1 &\bigm| & 12 \\ 0 & 4 & 1 &\bigm| & 2 \end{bmatrix} \xRightarrow{(2,1)} \begin{bmatrix} 1 & 2 & 1 &\bigm| & 2 \\ 0 & 2 & -2 &\bigm| & 6 \\ 0 & 4 & 1 &\bigm| & 2 \end{bmatrix} \xRightarrow{(3,2)} \begin{bmatrix} 1 & 2 & 1 &\bigm| & 2 \\ 0 & 2 & -2 &\bigm| & 6 \\ 0 & 0 & 5 &\bigm| & -10 \end{bmatrix}\]

回代 (back substitution) 求解得: $x=2, y=1, z=-2$

矩阵变换形式

\[\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -2 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{bmatrix} = \begin{bmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5 \end{bmatrix}\]

$(E_{32}E_{21})A=U$

初等矩阵

左乘 -> 行变换
右乘 -> 列变换

逆矩阵

方阵: $A^{-1}A=I=AA^{-1}$

\[\begin{bmatrix} 1 & 3 &\bigm| & 1 & 0\\ 2 & 7 &\bigm| & 0 & 1\\ \end{bmatrix} \xRightarrow{elimination} \begin{bmatrix} 1 & 3 &\bigm| & 1 & 0\\ 0 & 1 &\bigm| & -2 & 1\\ \end{bmatrix} \xRightarrow{back\; substitution} \begin{bmatrix} 1 & 0 &\bigm| & 7 & 3\\ 0 & 1 &\bigm| & -2 & 1\\ \end{bmatrix}\]

$ E \times \begin{bmatrix} A & I \end{bmatrix} = \begin{bmatrix} I & A^{-1} \end{bmatrix}$ ($E$ 代表 所有 消元/回代 的初等矩阵的积)

矩阵乘法

$A_{m \times n} \times B_{n \times p} = C_{m \times p}$

直接计算每个元素

$C_{ij}=\displaystyle\sum_{k=1}^{n}a_{ik}b_{kj}$

列向量的组合

$C$ 中的每一列都是 $A$ 中各列的组合

\[\begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \\ \end{bmatrix} \times \begin{bmatrix} b_1 \\ b_2 \\ b_3 \end{bmatrix} = b_1 \times \begin{bmatrix} a_{11} \\ a_{21} \\ a_{31} \end{bmatrix} + b_2 \times \begin{bmatrix} a_{12} \\ a_{22} \\ a_{32} \end{bmatrix} + b_3 \times \begin{bmatrix} a_{13} \\ a_{23} \\ a_{33} \end{bmatrix}\]

行向量的组合

$C$ 中的每一行都是 $B$ 中各行的组合

\[\begin{bmatrix} a_1 & a_2 & a_3 \end{bmatrix} \times \begin{bmatrix} b_{11} & b_{12} & b_{13} \\ b_{21} & b_{22} & b_{23} \\ b_{31} & b_{32} & b_{33} \\ \end{bmatrix} = \begin{bmatrix} a_1 \times b_{11} & a_1 \times b_{12} & a_1 \times b_{13} \\ + & + & + & \\ a_2 \times b_{21} & a_2 \times b_{22} & a_2 \times b_{23} \\ + & + & + & \\ a_3 \times b_{31} & a_3 \times b_{32} & a_3 \times b_{33} \\ \end{bmatrix} = \begin{array}{cc} & a_1 \times (b_{11}, b_{12}, b_{13}) \\ + & a_2 \times (b_{21}, b_{22}, b_{23}) \\ + & a_3 \times (b_{31}, b_{32}, b_{33}) \\ \end{array}\]

矩阵之和

$C = \displaystyle\sum_{k=1}^{n}{A_{col\;k} \times B_{row\;k}}$

分块乘法

转置矩阵

Transpose Matrix

行列互换记作 $A^T$

$(A^T)_{ij}=A_{ji}$

LU 分解

\[(AB) \times (A^{-1}B^{-1}) = A (BB^{-1}) A^{-1} = I\] \[E_{32}E_{21}A = U\] \[A = (E_{21})^{-1}(E_{32})^{-1}U = LU\]

为什么使用逆矩阵？
因为计算更加容易 ($E$的变换会传导, $L$则不会):

\[\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -5 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 10 & -5 & 1 \end{bmatrix}\] \[\begin{bmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 5 & 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 0 & 5 & 1 \end{bmatrix}\]

$U$ - Upper
$L$ - Lower

置换矩阵

Permutation Matrix

$P^{-1}=P^T$
$P^TP=I$

置换矩阵的个数为 $n!$

对称矩阵

Symmetric Matrix

$A^T=A$

所有的$RR^T$都是对称的

$(R^TR)^T=R^TR^{TT}=R^TR$

向量空间

Vector Space

向量空间中任意向量的线性组合都在该空间中。

向量空间必须包含 零向量

$R^2$

子空间

$R^2$ 的子空间有:

• $R^2$ 自身
• 过原点的所有直线 $L$
• 原点 $Z$

$R^3$ 的子空间有:

• $R^3$
• 过原点的面
• 过原点的线
• 原点

列空间(Column Space) $C(A)$ (由列向量的线性组合构成的空间)

对应向量子空间 $S$ 和 $T$, $S \cap T$ 也是向量子空间

$Ax=b$ 有解，当且仅当 $b$ 属于 $A$ 的列空间

线性无关 (independent)

零空间

$A$ 的零空间是 $Ax=0$ 的解

求解$Ax=0$

阶梯形式 (echelon form)

秩 (rank) - 主元 (pivot) 的个数

主列(pivot column) - 主元所在的列
自由列(free column) - 没有主元的列

1. 消元
   \(\begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 & 6 & 8 & 10 \end{bmatrix} \Rightarrow \begin{bmatrix} 1 & 2 & 2 & 2 \\ 0 & 0 & 2 & 4 \\ 0 & 0 & 2 & 4 \end{bmatrix} \Rightarrow \begin{bmatrix} 1 & 2 & 2 & 2 \\ 0 & 0 & 2 & 4 \\ 0 & 0 & 0 & 0 \end{bmatrix}\)
   (该矩阵的秩为 2)

2. 求特解 (special solution)
   (将自由列设置为任意的值)
   令 $x_2 = 1, x_4 = 0$, 回代求解得: $x_3 = 0, x_1 = -2$
   令 $x_2 = 0, x_4 = 1$, 回代求解得: $x_3 = -2, x_1 = 2$

3. 特解的线性组合即为 $Ax=0$ 的解
   \(x = c \begin{bmatrix} -2 \\ 1 \\ 0 \\ 0 \end{bmatrix} + d \begin{bmatrix} 2 \\ 0 \\ -2 \\ 1 \end{bmatrix}\)

简化行阶梯形式

Reduce Row Echelon Form

\[\begin{bmatrix} 1 & 2 & 2 & 2 \\ 0 & 0 & 2 & 4 \\ 0 & 0 & 0 & 0 \end{bmatrix} \Rightarrow \begin{bmatrix} 1 & 2 & 0 & -2 \\ 0 & 0 & 2 & 4 \\ 0 & 0 & 0 & 0 \end{bmatrix} \Rightarrow \begin{bmatrix} 1 & 2 & 0 & -2 \\ 0 & 0 & 1 & 2 \\ 0 & 0 & 0 & 0 \end{bmatrix} \xRightarrow{交换列} \left[ \begin{array}{cc | cc} 1 & 0 & 2 & -2 \\ 0 & 1 & 0 & 2 \\ \hline 0 & 0 & 0 & 0 \end{array} \right] = \begin{bmatrix} I & F \\ 0 & 0 \end{bmatrix}\]

可以快速求得特解: \(\begin{bmatrix} -F \\ I \end{bmatrix}\)

求解 $Ax=b$

增广矩阵 (Agumented Matrix)

1. 当且仅当 $b$ 属于 $A$ 的列空间时 $Ax=b$ 有解
2. 行向量组合成零向量时， $b$ 中元素的相同组合为 $0$

\[\begin{bmatrix} \underline{1} & 2 & 2 & 2 &\bigm| & b_1\\ 0 & 0 & \underline{2} & 4 &\bigm| & b_2 -2b_1\\ 0 & 0 & 0 & 0 &\bigm| & b_3-b_2-b_1 \end{bmatrix}\]

1. 将自由变量设置成 $0$