直线投影
\(\mathbf{p}=\frac{\mathbf{a}^T\mathbf{b}}{\mathbf{a}^T\mathbf{a}}\,\mathbf{a}\)，投影矩阵 \(P=\frac{\mathbf{a}\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}\)。
18.06 · 第 14 课
投影（projection）是把向量"垂直地影子"到一个子空间上。投影矩阵 \(P\) 满足 \(P^2=P=P^T\)，它把 \(\mathbf{b}\) 映到列空间中离 \(\mathbf{b}\) 最近的点 \(A\hat{\mathbf{x}}\)——这个"最近"就是下一课最小二乘的核心。
设 \(\mathbf{a}\in\mathbb{R}^m\) 是一条过原点直线的方向向量，\(\mathbf{b}\in\mathbb{R}^m\) 是要投影的向量。投影 \(\mathbf{p}\) 是直线上离 \(\mathbf{b}\) 最近的点，等价于误差 \(\mathbf{e}=\mathbf{b}-\mathbf{p}\) 与 \(\mathbf{a}\) 正交：
\[\mathbf{p} = \hat{x}\,\mathbf{a}, \qquad \mathbf{a}^T(\mathbf{b}-\hat{x}\mathbf{a}) = 0.\]解出标量系数 \(\hat{x}\)：
\[\hat{x} = \frac{\mathbf{a}^T\mathbf{b}}{\mathbf{a}^T\mathbf{a}}.\]于是投影向量为
\[\mathbf{p} = \frac{\mathbf{a}^T\mathbf{b}}{\mathbf{a}^T\mathbf{a}}\,\mathbf{a} = \frac{\mathbf{a}\,\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}\,\mathbf{b}.\]投影矩阵（projection matrix）为
\[P = \frac{\mathbf{a}\,\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}} \quad (m\times m).\]它把任意 \(\mathbf{b}\) 映到直线上的投影：\(\mathbf{p}=P\mathbf{b}\)。
投影矩阵的两个关键性质。\(P^2=P\)（投影两次等于投影一次）且 \(P^T=P\)（对称）。对称性反映正交投影：误差垂直于子空间。
验证 \(P^2=P\)：
\[P^2 = \frac{\mathbf{a}\,\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}\cdot\frac{\mathbf{a}\,\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}} = \frac{\mathbf{a}\,(\mathbf{a}^T\mathbf{a})\,\mathbf{a}^T}{(\mathbf{a}^T\mathbf{a})^2} = \frac{\mathbf{a}\,\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}} = P.\]这里用到 \(\mathbf{a}^T\mathbf{a}\) 是一个标量，可以提到前面。
设 \(A\) 是 \(m\times n\) 矩阵，列满秩（\(n\) 列线性无关）。把 \(\mathbf{b}\in\mathbb{R}^m\) 投影到列空间 \(C(A)\) 上，投影为 \(\mathbf{p}=A\hat{\mathbf{x}}\)，误差 \(\mathbf{e}=\mathbf{b}-A\hat{\mathbf{x}}\) 必须与 \(C(A)\) 正交——即与 \(A\) 的每一列正交：
\[A^T(\mathbf{b}-A\hat{\mathbf{x}}) = \mathbf{0}.\]整理得到法方程（normal equations）：
\[A^T A\,\hat{\mathbf{x}} = A^T \mathbf{b}.\]因为 \(A\) 列满秩，\(A^TA\) 是可逆的 \(n\times n\) 对称正定矩阵，于是
\[\hat{\mathbf{x}} = (A^T A)^{-1}A^T\mathbf{b}, \qquad \mathbf{p} = A\hat{\mathbf{x}} = A(A^T A)^{-1}A^T\mathbf{b}.\]子空间的投影矩阵为
\[P = A(A^T A)^{-1}A^T \quad (m\times m).\]
它把 \(\mathbf{b}\) 映到列空间 \(C(A)\) 中离 \(\mathbf{b}\) 最近的点。误差 \(\mathbf{b}-\mathbf{p}=(I-P)\mathbf{b}\) 属于左零空间 \(N(A^T)\)。
验证 \(P\) 的性质：
\[P^2 = A(A^TA)^{-1}A^T\cdot A(A^TA)^{-1}A^T = A(A^TA)^{-1}A^T = P,\] \[P^T = \left(A(A^TA)^{-1}A^T\right)^T = A(A^TA)^{-1}A^T = P.\]注意 \(P\) 的秩等于 \(A\) 的秩 \(n\)，即列空间的维数。
列满秩假设很重要。如果 \(A\) 的列线性相关，\(A^TA\) 不可逆，法方程有无穷多解。此时需要用 \(A^+=(A^TA)^{-1}A^T\) 的推广——伪逆（pseudo-inverse）。
投影 \(\mathbf{p}=P\mathbf{b}\) 是列空间中唯一使 \(\|\mathbf{b}-\mathbf{p}\|\) 最小的向量。这是因为误差 \(\mathbf{e}=\mathbf{b}-\mathbf{p}\) 与列空间正交：
\[\|\mathbf{b}-\mathbf{p}\|^2 = \|\mathbf{e}\|^2 \le \|\mathbf{e} + \mathbf{q}\|^2 \quad \forall\,\mathbf{q}\in C(A),\]由勾股定理，\(\|\mathbf{e}+\mathbf{q}\|^2 = \|\mathbf{e}\|^2+\|\mathbf{q}\|^2 \ge \|\mathbf{e}\|^2\)。
当 \(\mathbf{b}\) 本身在列空间中时，\(\mathbf{p}=\mathbf{b}\)，\(P\mathbf{b}=\mathbf{b}\)；当 \(\mathbf{b}\) 与列空间正交（\(\mathbf{b}\in N(A^T)\)）时，\(\mathbf{p}=\mathbf{0}\)，\(P\mathbf{b}=\mathbf{0}\)。所以 \(P\) 的特征值是 1（对应列空间中的向量）和 0（对应左零空间中的向量）。
设 \(A=\begin{bmatrix}1\\1\\1\end{bmatrix}\)，\(\mathbf{b}=\begin{bmatrix}1\\2\\3\end{bmatrix}\)。把 \(\mathbf{b}\) 投影到 \(A\) 的列空间（过原点、方向 \(\mathbf{a}=[1,1,1]^T\) 的直线）：
\[A^TA = \begin{bmatrix}1&1&1\end{bmatrix}\begin{bmatrix}1\\1\\1\end{bmatrix} = 3,\qquad A^T\mathbf{b} = \begin{bmatrix}1&1&1\end{bmatrix}\begin{bmatrix}1\\2\\3\end{bmatrix} = 6.\]法方程 \(3\hat{x}=6\)，解得 \(\hat{x}=2\)。投影为
\[\mathbf{p} = A\hat{\mathbf{x}} = \begin{bmatrix}2\\2\\2\end{bmatrix},\qquad \mathbf{e} = \mathbf{b}-\mathbf{p} = \begin{bmatrix}-1\\0\\1\end{bmatrix}.\]验证正交：\(\mathbf{a}^T\mathbf{e}=(-1)+0+1=0\)。投影矩阵
\[P = \frac{1}{3}\begin{bmatrix}1\\1\\1\end{bmatrix}\begin{bmatrix}1&1&1\end{bmatrix} = \frac{1}{3}\begin{bmatrix}1&1&1\\1&1&1\\1&1&1\end{bmatrix}.\]问题 1：向量到由 \(\mathbf{a}\) 张成的直线上的投影矩阵是哪个？
问题 2：投影矩阵 \(P\) 必须满足哪两个性质？
问题 3：把 \(\mathbf{b}\) 投影到 \(A\) 的列空间时，法方程是哪个？
问题 4：投影误差 \(\mathbf{b}-P\mathbf{b}\) 属于哪个子空间？
\(\mathbf{p}=\frac{\mathbf{a}^T\mathbf{b}}{\mathbf{a}^T\mathbf{a}}\,\mathbf{a}\)，投影矩阵 \(P=\frac{\mathbf{a}\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}\)。
法方程 \(A^TA\hat{\mathbf{x}}=A^T\mathbf{b}\)，投影矩阵 \(P=A(A^TA)^{-1}A^T\)。
\(P^2=P=P^T\) 是投影矩阵的标志；对称性对应正交投影。
\(\mathbf{b}-\mathbf{p}\in N(A^T)\)，投影是列空间中离 \(\mathbf{b}\) 最近的点。
lecture_slides/lecture_15.pdflecture_summaries/lecture_1_14_summary.pdf