docs/math/linear-algebra/diagonalization.md
矩阵 $A$ 的属于 $\lambda_0$ 的全部特征向量,再添上零向量,构成一个线性空间,称为矩阵 $A$ 的一个特征子空间,记为 $E(\lambda_0)$.它是齐次线性方程组:
$$ (\lambda_0 I-A)X=0 $$
的解空间.
对于特征子空间 $E(\lambda_i)=N(\lambda_i I-A)$,由亏加秩定理有:
$$ r(\lambda_i I-A)+\operatorname{dim} N(\lambda_i I-A)=n $$
因此,特征子空间 $E(\lambda_i)$ 的维数为:
$$ \operatorname{dim} E(\lambda_i)=n-r(\lambda_i I-A) $$
也称为 $\lambda_i$ 的 几何重数.
在研究线性变换 $T$ 的时候,常常希望选取空间 $V$ 的一个基,使得线性变换 $T$ 对于这个基的矩阵具有尽可能简单的形状.
设 $V$ 是数域 $F$ 上的线性空间,$W$ 是 $V$ 的一个子空间,$T$ 是 $V$ 上的一个线性变换.如果对于 $W$ 中任意的向量 $x$,都有 $T(x)$ 也在 $W$ 中(也称为空间在变换下不变或稳定),称 $W$ 是 $T$ 的一个不变子空间.
空间在变换下不变,并不是说坐标在变换下真的「不变」,有可能是进行了一个拉伸等变形,只是变形后还落在空间里.
设 $W$ 是线性变换 $T$ 的一个不变子空间.只考虑 $T$ 在不变子空间 $W$ 上的作用,就得到子空间 $W$ 本身的线性变换,称为 $T$ 在子空间 $W$ 上的限制,记作 ${T|}_W$.
对于 $V$ 中任意的线性变换 $T$,像空间 $R(T)$ 与核空间 $N(T)$ 是 $T$ 的不变子空间.这两种情况的含义是,空间 $V$ 在变换前后,完成了自身的压缩(像空间),或者压缩到 $0$(核空间).
对于 $V$ 中任意的线性变换 $T$,$T$ 的特征子空间是 $T$ 的不变子空间.
根据代数基本定理,最小多项式可以分解为:
$$ m_A(\lambda)={(\lambda-\lambda_1)}^{r_1}\cdots{(\lambda-\lambda_S)}^{r_S} $$
考虑最小多项式代入变元 $\lambda$ 为矩阵 $A$ 后,各个因式的核空间,构成矩阵 $A$ 的一系列不变子空间:
$$ W_i=N({(\lambda_i I-A)}^{r_i}) $$
定理:该不变子空间 $W_i$ 的维数,恰好为特征值 $\lambda_i$ 的代数重数.
回顾一下,代数重数是指特征多项式各个因式的次数,几何重数是指特征子空间 $E(\lambda_i)=N(\lambda_i I-A)$ 的维数.这个不变子空间 $W_i$ 与特征子空间 $E(\lambda_i)$,两者都是矩阵的核空间,并且两个矩阵构成最小多项式 $r_i$ 次幂的关系.也就是说,特征子空间的维数是几何重数,「特征子空间」经过最小多项式 $r_i$ 次幂后到达一个「不变子空间」,不变子空间的维数到达了特征多项式的代数重数.
该定理其实是下面准素分解定理的推论.
记矩阵 $A$ 对应的线性变换 $T$,在每个子空间 $W_i$ 上的限制 $T_i={T|}_{W_i}$.于是 $T_i$ 的最小多项式是 $(x-\lambda_i)^{r_i}$.
定理:设 $V$ 是域 $F$ 上的线性空间,$T$ 是 $V$ 上的一个线性变换.那么空间 $V$ 可以关于线性变换 $T$ 进行准素分解,拆成若干不变子空间 $W_i$ 的直和.
$$ V=W_1\oplus W_2\oplus\cdots\oplus W_S $$
这意味着,$T$ 在某组基下的矩阵是准对角阵:
$$ \operatorname{diag}{A_1,A_2,\cdots,A_S} $$
其中,$A_i$ 是 $T_i$ 在对应基下的矩阵.
该定理表明,可以使用不变子空间简化线性变换的矩阵.
对于 $n$ 阶方阵 $A$,如果相似于一个对角阵,则称 $A$ 为可对角化矩阵,或称单纯矩阵.
定理:设矩阵 $A$ 的全部互异特征根为 $\lambda_1,\cdots,\lambda_m$,则以下命题等价:
$$ \operatorname{dim} E(\lambda_1)+\cdots+\operatorname{dim} E(\lambda_m)=n $$
前文已经指出,特征多项式的分解式中特征值的次数称为代数重数,特征子空间的维数称为几何重数.这个定理也表明,矩阵 $A$ 可对角化,等价于 $A$ 的每个特征值 $\lambda$ 的代数重数都等于它的几何重数.
推论:如果 $n$ 阶方阵 $A$ 恰有 $n$ 个互异特征值,则它必可对角化.反之则不一定.
定理:矩阵 $A$ 可对角化当且仅当 $A$ 的最小多项式没有重根.
矩阵的相似也会保持特征向量之间的线性相关关系不变.
特征向量完全可能不是实数,也完全可能找不到 $n$ 个线性无关的特征向量.
对于重特征值而言,特征向量张成空间.为了描述这个空间,需要从其中选择代表.一般会选择线性无关的代表,代表的个数就是空间的维数.
选取代表时,常常将它们正交化与单位化.最终得到的就是一套单位正交的代表.
特征向量不一定正交,不同特征值的特征向量,可能无法正交.因此正交化只能对于重特征值的特征向量进行.但是单位化可以对任意特征向量进行.
设 $T$ 是空间 $V$ 的一个线性变换.如果存在一个正整数 $r$,使得 $T^r$ 为零变换,称 $T$ 是空间 $V$ 的一个幂零变换.
对于某一个正整数 $r$,满足条件 $N^r=0$ 的矩阵称为幂零矩阵.
一般可以进一步假定 $r$ 是使 $T^r$ 为零变换的最小正整数,于是 $T$ 的最小多项式是 $x^r$.于是存在一个向量 $\xi_0$,使得:
定理:设 $T$ 是空间 $V$ 的一个线性变换,$\xi$ 是空间 $V$ 的一个向量.如果存在一个正整数 $s$,使得:
那么向量 $\xi,T(\xi),\cdots,T^{s-1}(\xi)$ 线性无关.
由这个定理可以给出一个定义:
设 $T$ 是空间 $V$ 的一个线性变换,$W$ 是 $V$ 的一个子空间.如果存在一个向量 $\xi_0$ 和一个正整数 $r$,使得:
向量 $\xi_0,T(\xi_0),\cdots,T^{r-1}(\xi_0)$ 构成 $W$ 的一个基.
如下等式成立:
$$ T^r(\xi_0)=0 $$
那么子空间 $W$ 称为关于 $T$ 的一个循环子空间,简称 $T$ 循环子空间.此时 $\xi_0$ 称为循环子空间 $W$ 的一个生成向量,向量 $\xi_0,T(\xi_0),\cdots,T^{r-1}(\xi_0)$ 称为 $W$ 的一个循环基.
显然,一个 $T$ 循环子空间 $W$ 在 $T$ 作用下不变,并且对于循环子空间 $W$ 中的任意向量 $\xi$,均有 $T^r(\xi)=0$,这里 $r$ 为循环子空间的维数.
如果空间 $W$ 是变换 $T$ 的循环子空间,那么 $T$ 在 $W$ 上的限制 ${T|}_W$ 是 $W$ 的一个幂零变换,并且 ${T|}_W$ 关于 $W$ 的倒序排列的循环基 $T^{r-1}(\xi_0),T^{r-2}(\xi_0),\cdots,\xi_0$ 的矩阵是如下形状的 $r$ 阶上三角矩阵:
$$ N_r=\begin{pmatrix} 0 & 1 & 0 & \cdots & 0 & 0\ 0 & 0 & 1 & \cdots & 0 & 0\ 0 & 0 & 0 & \cdots & 0 & 0\ \vdots & \vdots & \vdots & & \vdots& \vdots\ 0 & 0 & 0 & \cdots & 0 & 1\ 0 & 0 & 0 & \cdots & 0 & 0\ \end{pmatrix} $$
矩阵 $N_r$ 称为一个 $r$ 阶幂零 Jordan 矩阵,或者 $r$ 阶幂零 Jordan 块.
设 $T$ 是 $n$ 维空间 $V$ 的一个幂零变换,把出现在 $V$ 关于 $T$ 的循环子空间的分解中,唯一确定的一组正整数 $r_1\geq\cdots\geq r_S$ 叫做 $T$ 的不变指数.
对于 $n$ 阶幂零矩阵 $A$,$A$ 与一个上述形状的矩阵 $N$ 相似,也唯一确定一个正整数序列 $r_1\geq\cdots\geq r_S$,称为矩阵 $A$ 的不变指数.
幂零阵虽然不能和对角阵相似,但是可以相似于这样的标准形式.在 Jordan 标准型,将相似对角化与幂零阵的标准形式,二者结合起来,给出一般的矩阵通过相似变换可以达到的标准形式.
设 $T$ 是空间 $V$ 的一个幂零变换,而
$$ h(x)=a_0+a_1x+\cdots+a_mx^m $$
是一个多项式,那么当且仅当 $a_0\neq 0$ 时,线性变换 $h(T)$ 有逆变换.当 $h(T)$ 可逆时,$h(T)$ 的逆变换也是 $T$ 的一个多项式.
设 $T$ 是空间 $V$ 的一个幂零变换,$W$ 是一个 $r$ 维 $T$ 循环子空间,$\xi$ 是 $W$ 中的向量.如果存在一个整数 $k$,使得
$$ T^{r-k}(\xi)=0 $$
那么存在 $W$ 中的向量 $\eta$,使得
$$ \xi=T^k(\eta) $$
设 $T$ 是 $n$ 维空间 $V$ 的一个幂零变换,$x^r$ 是 $T$ 的最小多项式,令 $W_1$ 是一个 $r$ 维 $T$ 循环子空间,那么存在 $W_1$ 的一个余子空间 $W_2$,使得:
$$ V=W_1\oplus W_2 $$
并且 $W_2$ 也在 $T$ 作用下不变.
设 $T$ 是 $n$ 维空间 $V$ 的一个幂零变换,那么 $V$ 可以分解为 $T$ 循环子空间的直和:
$$ V=W_1\oplus W_2\oplus\cdots\oplus W_S $$
每一个 $n$ 阶幂零矩阵都与一个形如:
$$ N=\begin{pmatrix} N_{r_1} & & & 0\ & N_{r_2} & & \ & & \cdots & \ 0 & & & N_{r_S}\ \end{pmatrix} $$
的矩阵相似,这里的每一个 $N_{r_i}$ 是一个 $r_i$ 阶幂零 Jordan 块.
如果规定 $T$ 循环子空间 $W_i$ 按照维数 $r_i$ 降序排列 $r_1\geq\cdots\geq r_S$,那么将 $V$ 分解为 $T$ 循环子空间的方法是由 $T$ 唯一确定的.