定义
\(\mathbf{x}^{\mathsf{T}}A\mathbf{x}>0\) 对所有非零 \(\mathbf{x}\) 成立。
18.06 · 第 24 课
正定矩阵(positive definite matrix)是线性代数中最重要的矩阵族之一。它出现在最小二乘、优化、有限元、协方差矩阵等方方面面,并且有许多彼此等价的刻画方式。
设 \(A\) 为 \(n\times n\) 实对称矩阵。若对任意非零向量 \(\mathbf{x}\in\mathbb{R}^n\),
\[\mathbf{x}^{\mathsf{T}}A\mathbf{x} > 0,\]则称 \(A\) 为正定矩阵(positive definite)。若 \(\ge 0\) 则称半正定(positive semidefinite)。
二次型 \(f(\mathbf{x})=\mathbf{x}^{\mathsf{T}}A\mathbf{x}\) 的图像是一个以原点为唯一极小点的"碗形"曲面。
几何图景:对 \(2\times 2\) 情形,\(f(x,y)=ax^2+2bxy+cy^2\)。正定时曲面呈碗形,负定时呈倒碗形,不定时呈马鞍形。
对实对称矩阵 \(A\),以下四条等价(满足任一条即正定):
例:验证 \(A=\begin{bmatrix}2&1\\1&2\end{bmatrix}\) 正定。
特征值 \(\Rightarrow\) 主子式:正定矩阵合同于 \(\Lambda=\operatorname{diag}(\lambda_i)\),其主子式是若干正特征值的积,仍正。
主子式 \(\Rightarrow\) 分解:对正定矩阵做 LDL\(^{\mathsf{T}}\) 分解,对角元 \(d_i=\Delta_i/\Delta_{i-1}>0\),于是 \(A=(LD^{1/2})(D^{1/2}L^{\mathsf{T}})=R^{\mathsf{T}}R\)。
分解 \(\Rightarrow\) 二次型正:\(\mathbf{x}^{\mathsf{T}}A\mathbf{x}=\mathbf{x}^{\mathsf{T}}R^{\mathsf{T}}R\mathbf{x}=\|R\mathbf{x}\|^2>0\)(\(\mathbf{x}\neq\mathbf{0}\) 时 \(R\mathbf{x}\neq\mathbf{0}\),因 \(R\) 列满秩)。
注意:判据只对对称矩阵成立。非对称矩阵即使 \(\mathbf{x}^{\mathsf{T}}A\mathbf{x}>0\) 对所有 \(\mathbf{x}\neq\mathbf{0}\) 成立,也应先对称化 \(\frac{A+A^{\mathsf{T}}}{2}\) 再判正定。
例:\(B=\begin{bmatrix}1&2\\2&1\end{bmatrix}\) 特征值为 \(3,-1\),不定。
核心主线:正定 = 碗形 = 唯一极小 = 主子式全正 = 特征值全正 = 可分解为 \(R^{\mathsf{T}}R\)。
问题 1:实对称矩阵 \(A\) 正定的定义是?
问题 2:设 \(A\) 为 \(3\times 3\) 实对称矩阵,下列哪项能保证 \(A\) 正定?
问题 3:若 \(A=R^{\mathsf{T}}R\) 且 \(R\) 列满秩,则 \(A\) 必?
问题 4:正定矩阵的行列式必?
\(\mathbf{x}^{\mathsf{T}}A\mathbf{x}>0\) 对所有非零 \(\mathbf{x}\) 成立。
特征值全正、顺序主子式全正、\(A=R^{\mathsf{T}}R\)、二次型唯一极小。
半正定:\(\ge 0\);负定:\(-A\) 正定;不定:有正有负。
优化、最小二乘、协方差、Hessian——正定无处不在。
lecture_slides/lecture_27.pdflecture_summaries/lecture_2_10_summary.pdf