18.06 · 第 24 课

正定矩阵

正定矩阵(positive definite matrix)是线性代数中最重要的矩阵族之一。它出现在最小二乘、优化、有限元、协方差矩阵等方方面面,并且有许多彼此等价的刻画方式。

授课:Prof. Gilbert Strang日期:2010-04-07难度:较难

学习目标


定义

设 \(A\) 为 \(n\times n\) 实对称矩阵。若对任意非零向量 \(\mathbf{x}\in\mathbb{R}^n\),

\[\mathbf{x}^{\mathsf{T}}A\mathbf{x} > 0,\]

则称 \(A\) 为正定矩阵(positive definite)。若 \(\ge 0\) 则称半正定(positive semidefinite)。

二次型 \(f(\mathbf{x})=\mathbf{x}^{\mathsf{T}}A\mathbf{x}\) 的图像是一个以原点为唯一极小点的"碗形"曲面。

几何图景:对 \(2\times 2\) 情形,\(f(x,y)=ax^2+2bxy+cy^2\)。正定时曲面呈碗形,负定时呈倒碗形,不定时呈马鞍形。

四个等价判据

对实对称矩阵 \(A\),以下四条等价(满足任一条即正定):

  1. 特征值判据:\(A\) 的全部特征值 \(\lambda_i>0\)。
  2. 主子式判据(Sylvester):\(A\) 的全部顺序主子式 \(\Delta_k>0\)(\(k=1,\dots,n\))。
  3. 分解判据:存在列满秩矩阵 \(R\) 使得 \(A=R^{\mathsf{T}}R\)。
  4. 极小值判据:二次型 \(f(\mathbf{x})=\mathbf{x}^{\mathsf{T}}A\mathbf{x}\) 在原点取唯一极小值。

例:验证 \(A=\begin{bmatrix}2&1\\1&2\end{bmatrix}\) 正定。

为何等价?

特征值 \(\Rightarrow\) 主子式:正定矩阵合同于 \(\Lambda=\operatorname{diag}(\lambda_i)\),其主子式是若干正特征值的积,仍正。

主子式 \(\Rightarrow\) 分解:对正定矩阵做 LDL\(^{\mathsf{T}}\) 分解,对角元 \(d_i=\Delta_i/\Delta_{i-1}>0\),于是 \(A=(LD^{1/2})(D^{1/2}L^{\mathsf{T}})=R^{\mathsf{T}}R\)。

分解 \(\Rightarrow\) 二次型正:\(\mathbf{x}^{\mathsf{T}}A\mathbf{x}=\mathbf{x}^{\mathsf{T}}R^{\mathsf{T}}R\mathbf{x}=\|R\mathbf{x}\|^2>0\)(\(\mathbf{x}\neq\mathbf{0}\) 时 \(R\mathbf{x}\neq\mathbf{0}\),因 \(R\) 列满秩)。

注意:判据只对对称矩阵成立。非对称矩阵即使 \(\mathbf{x}^{\mathsf{T}}A\mathbf{x}>0\) 对所有 \(\mathbf{x}\neq\mathbf{0}\) 成立,也应先对称化 \(\frac{A+A^{\mathsf{T}}}{2}\) 再判正定。

半正定、负定与不定

例:\(B=\begin{bmatrix}1&2\\2&1\end{bmatrix}\) 特征值为 \(3,-1\),不定。

应用一瞥

核心主线:正定 = 碗形 = 唯一极小 = 主子式全正 = 特征值全正 = 可分解为 \(R^{\mathsf{T}}R\)。


知识检查

问题 1:实对称矩阵 \(A\) 正定的定义是?

问题 2:设 \(A\) 为 \(3\times 3\) 实对称矩阵,下列哪项能保证 \(A\) 正定?

问题 3:若 \(A=R^{\mathsf{T}}R\) 且 \(R\) 列满秩,则 \(A\) 必?

问题 4:正定矩阵的行列式必?


本课要点

定义

\(\mathbf{x}^{\mathsf{T}}A\mathbf{x}>0\) 对所有非零 \(\mathbf{x}\) 成立。

四个等价

特征值全正、顺序主子式全正、\(A=R^{\mathsf{T}}R\)、二次型唯一极小。

半正定与负定

半正定:\(\ge 0\);负定:\(-A\) 正定;不定:有正有负。

应用

优化、最小二乘、协方差、Hessian——正定无处不在。


延伸阅读


一手资料