高维非凸优化的「鞍点主导」

深度学习中，Roon 说过一句话，被很多人当作信条：最大的 whitepill 是：局部极小值在高维空间中很罕见。也就是说，你的模型很难卡在局部最优里。但它到底有没有道理？如果有道理，道理又在哪里？

这句观点并非对每个光滑函数都字面成立。比如凸函数可能只有一个全局极小值，压根没有鞍点。它的精确版本需要一个「景观的概率模型」，以及退化与非退化临界点之间的区分。这篇文章会把这句直觉，分三步严格化：

对 Morse 函数而言，临界点是孤立的，因此在所处区域中占据零体积。
在非退化临界点的条件下，局部极小值要求 Hessian 正定，即所有 N 个独立曲率方向都为正。
在 Hessian 表现得像大型中心化随机对称矩阵的随机景观模型中，正定是指数级罕见的事件，鞍点则压倒性地常见。

Kac–Rice 公式为这一现象在高斯随机场中提供了严格的计数框架，Morse 理论则解释了为什么「指数」是临界点的自然拓扑不变量。下面我们一步步把这条链路走完。

高维的地形景观

我们习惯把优化问题想象成一幅二维或三维的地形图：有山峰（极大值）、山谷（极小值）、还有山口（鞍点，像马鞍一样一边上一边下）。这种直觉在低维时很管用。

但当维度 $N$ 变得很大——几千、几百万，甚至更多——这幅图景就开始「失真」。想象你站在高维空间的一个点上：此时脚下不再只有「前后左右」两个方向，而是有 $N$ 个相互独立的方向可以移动。要说这个点是一个真正的谷底（局部极小值），你必须保证：无论往哪个方向迈一小步，海拔都会升高。

这个直觉在数学上如何精确化？我们从最基础的定义开始。

临界点、梯度与 Hessian

设 $f: \mathbb{R}^N \to \mathbb{R}$ 是二阶连续可微函数，记作 $f \in C^2(\mathbb{R}^N)$ 。 $C^2$ 假设保证了 Hessian 良定义且对称。

定义 2.1（梯度）。函数 $f$ 在 $x=(x_1,\dots,x_N)\in\mathbb{R}^N$ 处的梯度是向量
$\nabla f(x) := \left(\begin{array}{c}\dfrac{\partial f}{\partial x_1}(x)\\ \vdots \\ \dfrac{\partial f}{\partial x_N}(x)\end{array}\right)\in\mathbb{R}^N.$

定义 2.2（临界点）。若 $x_c \in \mathbb{R}^N$ 满足
$\nabla f(x_c) = 0,$
则称该点为 $f$ 的临界点。对开区域上的光滑函数，内部的局部极小值与局部极大值都必然是临界点。

定义 2.3（Hessian）。 $f$ 在 $x\in\mathbb{R}^N$ 处的 Hessian 是 $N\times N$ 矩阵
$H_f(x) = \nabla^2 f(x) := \left[\frac{\partial^2 f}{\partial x_i \partial x_j}(x)\right]_{i,j=1}^N.$
由于 $f\in C^2$ ，由 Clairaut 定理可得
$\frac{\partial^2 f}{\partial x_i \partial x_j}(x) = \frac{\partial^2 f}{\partial x_j \partial x_i}(x),$
因此 $H_f(x)$ 是实对称矩阵。

Hessian 之所以重要，因为它是泰勒展开中的二次项。设 $h = x - x_0$ ，则

f(x_0+h) = f(x_0) + \nabla f(x_0)^T h + \frac{1}{2}h^T H_f(x_0) h + o(\|h\|^2). \tag{1}

在临界点 $x_c$ 处，线性项消失，因此局部几何由下式决定到二阶：

f(x_c+h) - f(x_c) = \frac{1}{2}h^T H_f(x_c)h + o(\|h\|^2).

由于 $H_f(x_c)$ 是实对称矩阵，谱定理给出由特征向量 $v_1,\dots,v_N$ 组成的标准正交基，对应的实特征值为 $\lambda_1,\dots,\lambda_N$ 。若

h = \sum_{i=1}^N a_i v_i,

则

h^T H_f(x_c) h = \sum_{i=1}^N \lambda_i a_i^2. \tag{2}

因此，Hessian 的特征值就是 $f$ 在临界点处的主二阶曲率——每个特征值的符号，直接告诉我们函数沿对应方向「向上弯」还是「向下弯」。

定义 2.4（非退化极小值、极大值与鞍点）。设 $x_c$ 是非退化临界点，即 $H_f(x_c)$ 没有零特征值。
若 $H_f(x_c)$ 的所有特征值都为正，则 $x_c$ 是非退化局部极小值。
若 $H_f(x_c)$ 的所有特征值都为负，则 $x_c$ 是非退化局部极大值。
若 $H_f(x_c)$ 至少有一个正特征值和至少一个负特征值，则 $x_c$ 是鞍点。
定义 2.5（Morse 指数）。非退化临界点 $x_c$ 的 Morse 指数是 $H_f(x_c)$ 的负特征值个数
$\operatorname{index}(x_c) := \#\{i : \lambda_i < 0\}.$
非退化局部极小值的指数为 0，非退化局部极大值的指数为 $N$ ，鞍点的指数在 1 到 $N-1$ 之间。

高维的困难此刻清晰可见。在 1 维中，非退化极小值只要求一个正的二阶导数。在 $N$ 维中，非退化局部极小值要求 $N$ 个同时成立的正曲率条件：

\lambda_1 > 0,\ \lambda_2 > 0,\ \dots,\ \lambda_N > 0.

相比之下，鞍点只要求至少一个正特征值和至少一个负特征值。当 Hessian 是随机的、且对正曲率没有强偏好时，后者显然容易满足得多。

临界点本身就稀少

在讨论「临界点是不是极小值」之前，先确认一个更基础、但常被忽视的事实：临界点本身在空间中就是「测度为零」的稀疏集合。这个结论不难证明，但它还不是本文要讲的高维现象——它对一维函数同样成立。

定义 3.1（Morse 函数）。若 $C^2$ 函数 $f:\mathbb{R}^N\to\mathbb{R}$ 的每个临界点都是非退化的，即对每个临界点 $x_c$ 有
$\det H_f(x_c) \neq 0,$
则称 $f$ 为 Morse 函数。
命题 3.2。若 $f$ 是 Morse 函数，则其临界点是孤立的。特别地，在 $\mathbb{R}^N$ 的每个紧子集中，只有有限多个临界点，因此临界点集具有 Lebesgue 测度零。

证明：临界点是梯度映射 $\nabla f: \mathbb{R}^N \to \mathbb{R}^N$ 的零点。该映射在 $x_c$ 处的导数就是 Hessian $H_f(x_c)$ 。若 $x_c$ 非退化，则 $H_f(x_c)$ 可逆。由反函数定理， $\nabla f$ 在 $x_c$ 附近局部可逆，因此 $x_c$ 是 $\nabla f$ 在某个邻域内的唯一零点。于是每个临界点都是孤立的。由于临界点集是闭集，紧区域内若有无限多个临界点，就会有一个同样为临界的聚点，这与孤立性矛盾。因此任何紧区域中只有有限多个临界点。有限集具有 Lebesgue 测度零。 $\blacksquare$

这说明：如果从 $\mathbb{R}^N$ 中的一个盒子里均匀采样一点，恰好落在临界点上的概率为零。但真正有趣的问题是条件性的：

既然我们已经身处某个高维随机函数的临界点，那么这个临界点是非退化局部极小值的概率是多少？

这个问题的答案，由 Hessian 特征值的符号来回答。

马鞍面

在进入随机矩阵论证之前，先看一个最简单的鞍点例子，建立手感。

函数 $f(x,y) = xy$ 在 $(0,0)$ 处有一个临界点，因为

\nabla f(x,y) = \binom{y}{x},

所以 $\nabla f(0,0) = 0$ 。它的 Hessian 是

H_f(0,0) = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}.

特征值为 $1$ 和 $-1$ ，因此原点是一个鞍点。

这个例子也说明了为什么混合偏导数项会遮蔽几何。在 $(x,y)$ 坐标中，二阶导数 $f_{xx}$ 与 $f_{yy}$ 都为零，而混合导数 $f_{xy}$ 非零——主曲率方向并不是坐标轴。定义旋转后的坐标

u = \frac{x+y}{\sqrt2}, \qquad v = \frac{x-y}{\sqrt2},

等价地

x = \frac{u+v}{\sqrt2}, \qquad y = \frac{u-v}{\sqrt2}.

则

xy = \frac{u+v}{\sqrt2}\cdot\frac{u-v}{\sqrt2} = \frac{u^2-v^2}{2}.

在旋转后的坐标中，Hessian 是对角的：

H = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}.

此刻鞍点结构一目了然：函数在 $u$ 方向向上弯曲，在 $v$ 方向向下弯曲。

不变的事实并不是 Hessian 在某个选定坐标系中的具体矩阵元素，而是它的符号分布：一个正特征值、一个负特征值。这是西尔维斯特惯性定律（Sylvester's law of inertia） 的一个特例——该定律说，实二次型的正、负、零方向的数目，在可逆线性坐标变换下保持不变。

随机矩阵的视角

现在回到主线问题：假设我们随机站在高维景观的某个临界点上，它是局部极小值的概率有多大？

第一个启发式是把典型临界点处的 Hessian 建模为一个随机实对称矩阵。这个模型对每个随机函数并非字面上都正确——Hessian 可能与函数值、梯度或问题中其它结构相关——但它抓住了核心机制：如果 Hessian 没有强的正偏向，它的特征值谱就应当同时含有正负号。

简化启发

仅仅出于直觉，假设每个 Hessian 特征值取正的概率为 $1/2$ ，且这些符号相互独立。那么

\mathbb{P}(\text{非退化局部极小值}) = \mathbb{P}(\lambda_1>0,\dots,\lambda_N>0) = 2^{-N}.

这已经在 $N$ 上指数衰减。独立性假设对对称随机矩阵的特征值并不成立——特征值彼此强烈排斥——但「正定很罕见」这一结论仍然正确，而且真正的随机矩阵估计还要更尖锐。

GOE Hessian 与半圆律

高斯正交系综（GOE） 是中心化随机实对称矩阵的标准模型。非正式地说， $N\times N$ 的 GOE 矩阵是其独立元素为高斯的对称矩阵，归一化方式使得特征值在 $N\to\infty$ 时保持在 $O(1)$ 量级。

维格纳半圆律（Wigner's semicircle law） 表明，中心化 GOE 矩阵的经验特征值分布在 $N\to\infty$ 时收敛到关于零点对称的确定性半圆分布。因此，典型的大 GOE 矩阵有大量正特征值和大量负特征值，它的指数通常接近 $N/2$ ，而不是接近 0 或 $N$ 。

然而，一个临界点要成为非退化局部极小值，Hessian 必须正定。在 GOE 模型中，这就是事件

\lambda_{\min}(H) > 0.

这个事件迫使整个特征值谱——其自然的极限形状以零为中心——平移到正的一侧。这是一个大偏差事件。

定理 4.1（GOE 正定呈指数级罕见）。设 $H_N$ 是 $N\times N$ 中心化 GOE 矩阵，采用通常的随机矩阵标度。则存在常数 $c>0$ ，使得在 $N\to\infty$ 时
$\mathbb{P}(H_N \text{正定}) = \mathbb{P}(\lambda_{\min}(H_N)>0) = \exp\{-cN^2 + o(N^2)\}.$
更精确地说，对高斯 $\beta$ 系综，指数具有 $\beta\,\theta(0)\,N^2$ 的形式，其中 $\theta(0) = (\log 3)/4$ （Dean & Majumdar 的结果与约定）。

精确常数不如标度重要。要点在于：正定不仅是「不太可能」，对中心化 GOE 矩阵而言，它在 $N^2$ 上呈指数级不可能——比前面粗糙估计里的 $2^{-N}$ 还要猛烈。于是，在随机 Hessian 模型中，

\mathbb{P}(\text{临界点是鞍点}) \longrightarrow 1, \qquad \mathbb{P}(\text{临界点是非退化局部极小值}) \longrightarrow 0.

更明确的几何诠释

在临界点 $x_c$ 处，二阶近似为

f(x_c+h) - f(x_c) \approx \frac{1}{2}h^T H_f(x_c) h.

若 $H_f(x_c)$ 只要有一个负特征值 $\lambda$ ，对应特征向量 $v$ ，那么

v^T H_f(x_c) v < 0,

沿 $v$ 移动一小段距离会使 $f$ 在二阶意义上减小：

f(x_c+tv) - f(x_c) \approx \frac{1}{2}t^2\, v^T H_f(x_c) v < 0.

因此，单个负特征值就摧毁了非退化局部极小值的可能性。在高维中，随机 Hessian 有很多机会获得这样的负方向。只有当这些方向都不向下弯曲时，非退化局部极小值才能存活。

Kac–Rice 公式

随机矩阵论证解释了为什么随机 Hessian 不太可能正定。要把这一论证与实际随机函数联系起来，需要一种计数临界点并按指数分类的方法。标准工具是 Kac–Rice 公式。

设 $f$ 是区域 $D\subset\mathbb{R}^N$ 上足够正则的随机场。对 $0\le k\le N$ ，定义

C_k(D) := \#\{x\in D : \nabla f(x)=0,\ \operatorname{index}(H_f(x))=k\},

即 $D$ 中指数为 $k$ 的临界点个数。在正则性与非退化性假设下，Kac–Rice 给出

\mathbb{E}\,C_k(D) = \\ \int_D \mathbb{E}\Big[|\det H_f(x)|\,\mathbf{1}\{\operatorname{index}(H_f(x))=k\}\ \Big|\ \nabla f(x)=0\Big]\, p_{\nabla f(x)}(0)\, dx. \tag{3}

这里 $p_{\nabla f(x)}(0)$ 是梯度在零处的密度。行列式因子的出现，是因为梯度映射的零点要按局部雅可比体积变化来计数。指示函数则选出所需的指数。

方程 (3) 使问题变得精确。计数非退化局部极小值就是取 $k=0$ ：

C_0(D) = \#\{x\in D : \nabla f(x)=0,\ H_f(x)\succ 0\}.

计数鞍点则是对 $1\le k\le N-1$ 求和。

对许多高斯随机场，在 $\nabla f(x)=0$ 条件下，Hessian 的条件分布是一个正交不变的高斯矩阵，通常是 GOE 型矩阵加上一个依赖于场值的标量平移——这正是随机矩阵理论严格介入之处，Hessian 的指数分布控制着每一类临界点的期望个数。

在自旋玻璃模型中，这一方案已被详细执行。Bray 与 Dean 计算了大维空间上高斯场的平均临界点个数，把它作为能量与指数的函数。Aufinger、Ben Arous 与 Černý 利用 Kac–Rice 与 GOE 特征值渐近，对球面 $p$ -自旋自旋玻璃哈密顿量的复杂度给出了严格的渐近分析。这些工作展示了一种典型模式：临界点可能是指数级众多的，但主导指数通常不是 0——相反，在景观的大部分区域，占主导的临界点具有正比例的负特征值，即它们是鞍点。

因此，严格的概率陈述不是「每个高维函数都只有很少的局部极小值」，而是更接近：

在广泛的高维随机景观模型中，期望的临界点计数以鞍点为主，而指数为零的临界点只构成一个趋于消失或指数级更小的比例，除非处于特殊的低能区域。

Morse 理论

Morse 理论为指数提供了拓扑诠释。它本身并不证明极小值是罕见的，而是解释为什么指数是应当追踪的正确不变量。

设 $f: M\to\mathbb{R}$ 是紧光滑流形 $M$ 上的 Morse 函数。当抬高阈值 $a$ 并考察下水平集

M_a := \{x\in M : f(x)\le a\}

时， $M_a$ 的拓扑只在 $a$ 经过临界值时改变。若临界点的指数为 $k$ ，那么粗略地说，穿过该水平会连接一个 $k$ 维手柄：局部极小值的指数为 0，因此它会为下水平集创造出新的连通分支。指数为 1 的鞍点可以把分支合并。更高指数的鞍点则创造出更高维的隧道与空洞。

一个推论是欧拉示性数的 Morse 关系：

\sum_{k=0}^{N} (-1)^k C_k = \chi(M), \tag{4}

其中 $C_k$ 是指数为 $k$ 的临界点个数， $\chi(M)$ 是 $M$ 的欧拉示性数。由于在复杂的随机景观中， $\chi(M)$ 通常相对于临界点总数很小，许多临界点必须在这个交错求和中相互抵消——相邻指数的鞍点天然适合这种抵消。

这一拓扑图景与概率图景一致：随机高维景观常常含有大量散布在各个指数上的鞍点。但重要的是不要夸大拓扑论证：球面上的函数可以只有一个极小值和一个极大值。Morse 理论约束着可能的临界点计数。随机矩阵理论与 Kac–Rice 则解释了为什么在随机高维模型中，计数的绝大部分通常是鞍点式的。

坐标不变性：Morse 引理

在非退化临界点附近，经过光滑坐标变换后，每个光滑函数都看起来像它的 Hessian 标准形——这正是 Morse 引理 的内容。

定理 B.1（Morse 引理）。设 $f: M\to\mathbb{R}$ 光滑， $p\in M$ 是指数为 $k$ 的非退化临界点。则以 $p$ 为中心存在局部坐标 $(u_1,\dots,u_N)$ ，使得
$f(u) = f(p) - u_1^2 - \dots - u_k^2 + u_{k+1}^2 + \dots + u_N^2.$

因此，在光滑局部坐标变换意义下，非退化临界点完全由其指数分类。非退化局部极小值的标准形为

f(p) + u_1^2 + \dots + u_N^2,

非退化局部极大值的标准形为

f(p) - u_1^2 - \dots - u_N^2,

而指数为 $k$ 的鞍点有 $k$ 个向下的方向和 $N-k$ 个向上的方向。这正是「指数」成为高维临界点自然语言的原因。

局限性

任何听起来很「美」的结论都需要打上补丁，这个也不例外。

不是所有函数都适用。 $\mathbb{R}^N$ 上的强凸函数，例如 $f(x)=\|x\|^2$ ，只有一个临界点，而且它是严格的全局极小值，没有鞍点。因此，仅仅高维并不意味着极小值稀缺——起决定作用的是 Hessian 有没有系统性地偏向正定。
正定是严格极小值的充分条件，而非必要条件。 退化的严格极小值是存在的：一维函数 $f(x)=x^4$ 在 $x=0$ 处有严格局部极小值，但其 Hessian 在那里为零。因此，Hessian 符号论证针对的是非退化的、即 Morse 的临界点。
结论依赖于随机景观系综。 中心化、类 GOE 的 Hessian 导致鞍点主导。Hessian 强烈向正方向平移的模型可以有许多极小值。在高斯场模型中，以极低函数值为条件，可以把 Hessian 谱向上平移，使极小值在景观底部附近更可能出现。
罕见并不意味着不存在。 即使极小值在所有临界点中的占比趋于零，在某些模型中极小值的绝对数目仍可能随 $N$ 增长。变得罕见的只是「随机选出的临界点是极小值」这一概率。

有了这些限定，可以更准确地表述为：在许多 Hessian 谱近似无偏的高维随机景观中，一个典型的非退化临界点压倒性地倾向于成为鞍点。 Morse 临界点中的局部极小值要求所有 Hessian 特征值为正，而这一正定事件随维度增长呈指数级罕见。

优化实践的启发

这有助于解释为什么高维优化常被描述为「鞍点逃逸问题」，而非单纯的「坏局部极小值问题」。这一陈述不应被过度解读：它并不证明梯度下降总是有效，也不是说所有实际目标都表现得像 GOE 随机矩阵——真实的损失函数具有架构、数据、对称性、退化与约束，远比理想化模型复杂。

尽管如此，几何上的教训是有用的：

高维中，绝大多数临界点是鞍点，其负特征值方向提供了逃离的「出口」（负曲率方向）。
因此，优化卡住的主因不是「掉进局部极小值的陷阱」，而是在高原或鞍点附近「停滞」。
算法如 SGD（随机梯度下降）自带的噪声，恰好能高效地把优化过程推离这些鞍点。而二阶算法（如牛顿法）反而需要谨慎处理负曲率方向，否则容易被带偏。

最后提醒一点：上述结论适用于随机、无结构化的景观。在深度学习中，由于对称性（如神经元置换）和平坦极小值的存在，景观结构更加复杂，但「鞍点主导」这一高维几何直觉依然成立。

结论

$N$ 维中的非退化局部极小值必须通过 $N$ 个同时成立的曲率检验——在临界点处，每个 Hessian 特征值都必须为正。鞍点只需要正负号的混合。随机矩阵理论表明，大型中心化对称矩阵天然具有这样的混合：它们的谱散布在零附近，有大量正、负特征值。「所有特征值都落在正侧」这一事件是一个大偏差。

这解释了高维的直觉。临界点本身是光滑景观中体积为零的特征，但在临界点之中，决定性的问题是 Hessian 的符号。在随机模型中，典型的符号其指数靠近中间，而不是极端：非退化局部极小值指数为 0，非退化局部极大值指数为 $N$ ，鞍点占据两者之间的所有指数。随着 $N$ 增长，中间压倒了极端。

因此，最好把这一观点理解为一条稳健的概率原则，而非关于每个高维函数的定理：

在高维随机景观中，指数为零的 Morse 临界点是例外，而鞍点才是默认。

这正是深度学习等现代优化能够成功的理论基石之一：绝大多数临界点是鞍点，其负曲率方向提供了逃离的出口。带噪声的一阶方法能高效地把优化过程推开这些鞍点。

参考

参考来源：《Why Local Minima Are Rare in High-Dimensional Landscapes》，Grant Stenger.

● 研究关系的三种视角