核方法基石：Representer Theorem

核方法最反直觉的一点是：你明明在一个可能是无限维的函数空间里做优化，最后却只需要解一个 $n\times n$ 的线性系统或二次规划。把这件事说清楚的，就是表示定理。

本文会把这个结论拆成三件事：RKHS 为什么能定义「范数正则化」；正交分解为什么迫使最优解落在训练点张成的子空间里；以及这个结论的边界——什么样的正则项会让它失效。

一、无穷维优化

线性模型 $f(x)=w^\top x$ 的表达能力受限于特征 $x$ 的坐标。想拟合非线性关系，一个标准做法是先把 $x$ 映射到一个更大的特征空间：

f(x)=w^\top \varphi(x),

其中 $\varphi:\mathcal X\to\mathbb R^d$ 是特征映射。多项式回归、样条基、径向基函数都属于这个套路。问题在于， $\varphi$ 的维数可以很大，甚至是无穷维。例如高斯核对应的是一个无穷维的特征空间；如果显式地写出 $\varphi$ ，优化根本无从下手。

核方法绕开了显式特征：它只通过内积

k(x,x')=\langle \varphi(x),\varphi(x')\rangle

来访问特征空间。这个 $k$ 就是核函数。于是，一个在特征空间中的线性模型，可以等价地写成

f(x)=\langle w,\varphi(x)\rangle,

而 $w$ 所在的希尔伯特空间（更准确地说，是 $\varphi$ 张成的闭包）就是核 $k$ 对应的再生核希尔伯特空间 $\mathcal H_k$ 。

正则化经验风险最小化（regularized empirical risk minimization）的目标是

f^*=\arg\min_{f\in\mathcal H}\left[\sum_{i=1}^n L\bigl(y_i,f(x_i)\bigr)+\lambda\|f\|_{\mathcal H}^2\right], \tag{1}

其中 $\mathcal H$ 是核 $k$ 对应的 RKHS， $\lambda\ge 0$ 是正则化参数。若 $\mathcal H$ 是无穷维的，这看起来是一个无穷维优化问题。表示定理说：它其实是一个 $n$ 维问题。

二、RKHS 速览

2.1 正定核与再生性

设 $\mathcal X$ 是一个非空集合。一个对称函数 $k:\mathcal X\times\mathcal X\to\mathbb R$ 称为正定核（positive definite kernel），如果对任意 $n$ 、任意 $x_1,\dots,x_n\in\mathcal X$ 和任意 $c_1,\dots,c_n\in\mathbb R$ ，都有

\sum_{i=1}^n\sum_{j=1}^n c_i c_j\,k(x_i,x_j)\ge 0.

也就是说，核矩阵 $K_{ij}=k(x_i,x_j)$ 总是半正定的。

定理 2.1（Moore–Aronszajn） 对任意正定核 $k$ ，存在唯一的希尔伯特空间 $\mathcal H_k$ ，由 $\mathcal X$ 上的函数组成，使得：
对每个 $x\in\mathcal X$ ， $k(\cdot,x)\in\mathcal H_k$ ；
对每个 $f\in\mathcal H_k$ 和 $x\in\mathcal X$ ，
$\langle f,k(\cdot,x)\rangle_{\mathcal H_k}=f(x).$
这个空间称为 $k$ 的再生核希尔伯特空间。

第二条就是再生性（reproducing property）。它把「函数在 $x$ 点的取值」变成了「与 $k(\cdot,x)$ 的内积」。等价地说，取值泛函

\delta_x:\mathcal H_k\to\mathbb R,\qquad \delta_x(f)=f(x)

是有界线性泛函，且由 Riesz 表示定理，它对应的表示元正是 $k(\cdot,x)$ 。

$\mathcal H_k$ 可以显式地构造为

\mathcal H_k=\overline{\operatorname{span}}\bigl\{k(\cdot,x):x\in\mathcal X\bigr\},

内积先定义在有限线性组合上：

\Bigl\langle \sum_i a_i k(\cdot,x_i),\sum_j b_j k(\cdot,x_j)\Bigr\rangle =\sum_{i,j}a_i b_j\,k(x_i,x_j),

然后取完备化。这个构造也说明了为什么 $\mathcal H_k$ 里的函数都「足够好」：它们是由核函数线性组合逼近出来的，而核的选择决定了这个空间的光滑性。

2.2 特征映射与核技巧

令

\varphi(x)=k(\cdot,x)\in\mathcal H_k.

则 $\varphi$ 就是一个从 $\mathcal X$ 到 $\mathcal H_k$ 的特征映射，并且

k(x,x')=\langle \varphi(x),\varphi(x')\rangle_{\mathcal H_k}.

这就是核技巧（kernel trick）的来源：所有只涉及特征内积的算法，都可以把 $\langle\varphi(x),\varphi(x')\rangle$ 替换成 $k(x,x')$ ，从而在不必显式构造 $\varphi$ 的情况下运行。SVM、核岭回归、核 PCA 都是这样。

需要强调的是，核技巧和表示定理是两件事。核技巧说的是「内积可以隐式计算」；表示定理说的是「最优解具有有限维形式」。前者是计算技巧，后者是结构定理。

2.3 常见核与它们的 RKHS

核	形式	特征维数 / RKHS
线性核	$\langle x,x'\rangle$	$d$ 维
多项式核	$(\langle x,x'\rangle+c)^p$	$\binom{d+p}{p}$ 维
高斯核	$\exp\!\bigl(-\\|x-x'\\|_2^2/(2\sigma^2)\bigr)$	无穷维，光滑函数
Laplacian 核	$\exp\!\bigl(-\\|x-x'\\|_1/\sigma\bigr)$	无穷维，Sobolev 型
Matérn 核	由修正 Bessel 函数给出	Sobolev 空间 $H^{\nu+d/2}$

核的选择等价于选择函数空间的先验：高斯核偏好非常光滑的函数，Laplacian 核允许更尖锐的变化，线性核则把模型限制在线性函数里。表示定理本身对核的选择没有偏好；它只负责把优化问题从 $\mathcal H_k$ 降到 $\mathbb R^n$ 。

三、表示定理

3.1 定理

定理 3.1（表示定理） 设 $\mathcal H$ 是核 $k$ 对应的 RKHS，给定训练数据 $(x_1,y_1),\dots,(x_n,y_n)$ 。设 $L:\mathbb R^n\to\mathbb R\cup\{+\infty\}$ 是任意损失函数， $\Omega:[0,\infty)\to\mathbb R$ 是非减函数。考虑
$f^*\in\arg\min_{f\in\mathcal H}\left\{L\bigl(f(x_1),\dots,f(x_n)\bigr)+\Omega\bigl(\|f\|_{\mathcal H}^2\bigr)\right\}. \tag{2}$
则：
(i) 存在一个最优解具有形式
$f^*(x)=\sum_{i=1}^n\alpha_i\,k(x,x_i); \tag{3}$
(ii) 若 $\Omega$ 严格递增，则每个最优解都具有这个形式。

这里有三个细节值得强调。

第一， $L$ 只通过 $f(x_1),\dots,f(x_n)$ 这 $n$ 个值依赖 $f$ （标签 $y_i$ 已吸收进 $L$ ）。如果损失还依赖导数、积分或在其他点上的取值，定理的形式会改变。表示定理的标准版本针对的正是这种「点值型」经验风险。

第二， $\Omega$ 只要求非减，不要求凸、不要求可微。式 (1) 中的 $\lambda\|f\|^2$ 对应 $\Omega(t)=\lambda t$ （ $\lambda>0$ 时严格递增），是最常见的特例。

第三，第 1 条是存在性，第 2 条才是「任意最优解」。如果 $\Omega$ 只是非减而非严格递增，可能存在落在子空间之外的最优解；我们会在第四节看到这一点。

3.2 证明：正交分解

证明的核心是一个正交分解。令

\mathcal H_0=\operatorname{span}\bigl\{k(\cdot,x_1),\dots,k(\cdot,x_n)\bigr\}\subseteq\mathcal H.

对任意 $f\in\mathcal H$ ，把它分解为

f=f_\parallel+f_\perp,\qquad f_\parallel\in\mathcal H_0,\quad f_\perp\in\mathcal H_0^\perp.

对每个训练点 $x_i$ ，因为 $k(\cdot,x_i)\in\mathcal H_0$ ，所以由再生性

f(x_i)=\langle f,k(\cdot,x_i)\rangle \\ =\langle f_\parallel,k(\cdot,x_i)\rangle+\langle f_\perp,k(\cdot,x_i)\rangle =f_\parallel(x_i).

也就是说， $f_\perp$ 在所有训练点上的取值都是零。它对损失函数没有任何贡献。

再看正则项。由勾股定理，

\|f\|_{\mathcal H}^2=\|f_\parallel\|_{\mathcal H}^2+\|f_\perp\|_{\mathcal H}^2 \ge \|f_\parallel\|_{\mathcal H}^2.

因为 $\Omega$ 非减，

\Omega\bigl(\|f\|_{\mathcal H}^2\bigr)\ge \Omega\bigl(\|f_\parallel\|_{\mathcal H}^2\bigr).

把两件事合起来：

L\bigl(f(x_1),\dots,f(x_n)\bigr)+\Omega\bigl(\|f\|^2\bigr) \ge \\ L\bigl(f_\parallel(x_1),\dots,f_\parallel(x_n)\bigr)+\Omega\bigl(\|f_\parallel\|^2\bigr).

所以，对任意 $f$ ，它的投影 $f_\parallel$ 的目标值都不比 $f$ 差。若 $f$ 是最优解，则 $f_\parallel$ 也是最优解，且 $f_\parallel\in\mathcal H_0$ 。这就证明了第 1 条。

若 $\Omega$ 严格递增且 $f_\perp\neq 0$ ，则 $\|f\|^2>\|f_\parallel\|^2$ ，上面的不等式是严格的， $f$ 不可能是最优解。因此每个最优解都必须满足 $f_\perp=0$ ，即落在 $\mathcal H_0$ 中。第 2 条得证。 $\square$

这个证明没有用到 $L$ 的凸性、可微性，也没有用到 $\Omega$ 的凸性。它只用了两件事：再生性把点值变成内积，以及范数的勾股分解。表示定理之所以「对损失没有限制」，原因就在这里。

3.3 从函数到系数

现在把 $f=\sum_{j=1}^n\alpha_j k(\cdot,x_j)$ 代回目标函数。对每个训练点，

f(x_i)=\sum_{j=1}^n\alpha_j\,k(x_i,x_j)=(K\alpha)_i,

其中 $K\in\mathbb R^{n\times n}$ 是核矩阵， $K_{ij}=k(x_i,x_j)$ 。正则项则是

\|f\|_{\mathcal H}^2 =\Bigl\langle\sum_i\alpha_i k(\cdot,x_i),\sum_j\alpha_j k(\cdot,x_j)\Bigr\rangle \\ =\sum_{i,j}\alpha_i\alpha_j\,k(x_i,x_j) =\alpha^\top K\alpha.

于是式 (2) 变成一个关于 $\alpha\in\mathbb R^n$ 的有限维问题：

\min_{\alpha\in\mathbb R^n}\left\{L\bigl(K\alpha\bigr)+\Omega\bigl(\alpha^\top K\alpha\bigr)\right\}. \tag{4}

这就是表示定理的全部实用价值：原本在无穷维空间里找 $f$ ，现在只需找 $n$ 个系数。核矩阵 $K$ 是半正定的；若 $K$ 可逆，则 $\alpha\mapsto f$ 是一一对应；若 $K$ 奇异，不同的 $\alpha$ 可能对应同一个函数（相差一个 $K$ 的零空间向量，其范数为零），但函数本身仍然是良定义的。

3.4 唯一性、系数与偏置项

表示定理给出的是解的形式，不是解的唯一性。以下几点容易混淆：

函数唯一 vs 系数唯一。 若 $K$ 奇异， $\alpha$ 不唯一，但 $f^*$ 可能唯一。核岭回归在 $\lambda>0$ 时就是如此：目标函数关于 $f$ 严格凸， $f^*$ 唯一；而 $\alpha=(K+\lambda I)^{-1}y$ 只是其中一个系数表示，所有相差 $K$ 零空间的系数给出同一个函数。
损失不严格凸时， $f^*$ 也可能不唯一。 例如 hinge loss 在某些数据上会有平坦区域；表示定理仍然成立，但最优解可能是一个集合。
偏置项要单独处理。 如果模型是 $f(x)+b$ ，而 $b$ 不受正则项约束，那么表示定理直接作用于 $f$ 的部分仍然给出 $f^*=\sum_i\alpha_i k(\cdot,x_i)$ ，但 $b$ 需要通过有限维优化或 KKT 条件单独求出。更系统的处理是半参数表示定理（semi-parametric representer theorem）：若模型为

f(x)=\sum_{j=1}^p\beta_j\phi_j(x)+g(x),\qquad g\in\mathcal H,

其中 $\phi_1,\dots,\phi_p$ 张成一个有限维空间（例如常数、线性函数），正则项只惩罚 $\|g\|_{\mathcal H}^2$ ，则最优的 $g$ 仍在训练点的张成空间中，而 $\beta$ 通过一个有限维系统求解。SVM 的偏置、平滑样条的多项式部分都属于这种情况。

四、为什么是「范数的非减函数」

4.1 充分性

第三节的证明已经说明：只要 $\Omega$ 非减，投影 $f_\parallel$ 就不会让目标变差，因此总有一个最优解落在 $\mathcal H_0$ 中。这一步只用了 $\|f\|^2\ge\|f_\parallel\|^2$ 和 $\Omega$ 的单调性，没有别的东西。

4.2 反例：非单调正则项

反过来，如果 $\Omega$ 不是非减的，表示定理就可能失效。考虑一个最小的例子。

取 $\mathcal X=\mathbb R^2$ ，线性核 $k(x,x')=\langle x,x'\rangle$ ，此时 $\mathcal H=\mathbb R^2$ 。只有一个训练点 $x_1=(1,0)$ ，标签 $y_1=0$ 。损失取平方损失

L(f(x_1))=f(x_1)^2,

正则项取

\Omega(f)=(\|f\|-1)^2.

这是一个非负的、只依赖范数的正则项，但它在 $[0,1]$ 上递减，不是非减函数。

训练点张成的子空间是

\mathcal H_0=\operatorname{span}\{k(\cdot,x_1)\}=\{(a,0):a\in\mathbb R\}.

在 $f=(0,0)$ 处， $f(x_1)=0$ ，损失为 $0$ ，但 $\|f\|=0$ ，正则项为 $1$ ，目标值为 $1$ 。在 $f=(0,1)$ 处， $f(x_1)=0$ ，损失仍为 $0$ ，而 $\|f\|=1$ ，正则项为 $0$ ，目标值为 $0$ 。所以最优解是 $(0,1)$ ，它落在 $\mathcal H_0$ 的正交补里，而不是训练点的张成空间中。

这个反例说明：非减性不是证明技巧，而是定理的本质条件。 正则项如果「喜欢」某个非零范数，它就会把解推离训练点子空间。

4.3 充要条件

上述反例可以推广。Dinuzzo 与 Schölkopf 在 2012 年给出了完整的刻画：在相当一般的条件下，表示定理对所有损失函数和所有数据集成立，当且仅当正则项是范数的非减函数。也就是说，

\Omega(f)=h(\|f\|_{\mathcal H})

对某个非减的 $h:[0,\infty)\to\mathbb R$ 成立，是表示定理的充要条件。

这里还要区分两个层次：

非减：保证存在一个落在 $\mathcal H_0$ 中的最优解；
严格递增：保证每个最优解都落在 $\mathcal H_0$ 中。

如果 $\Omega\equiv 0$ ，目标函数只依赖 $f$ 在训练点上的取值。任何在这些点上取值相同的函数都是最优解，其中很多并不在 $\mathcal H_0$ 里。表示定理的「存在」版本仍然成立（取 $f_\parallel$ 即可），但「任意最优解」的版本不成立。因此，「任意最优解都满足」这一说法需要加上严格递增这个条件。

五、五个经典例子

5.1 核岭回归

取平方损失和 $\Omega(t)=\lambda t$ （ $\lambda>0$ ）：

\min_{f\in\mathcal H}\left\{\sum_{i=1}^n\bigl(y_i-f(x_i)\bigr)^2+\lambda\|f\|_{\mathcal H}^2\right\}.

由表示定理， $f^*=\sum_i\alpha_i k(\cdot,x_i)$ 。代入式 (4)：

\|y-K\alpha\|^2+\lambda\,\alpha^\top K\alpha.

对 $\alpha$ 求梯度：

-2K(y-K\alpha)+2\lambda K\alpha =2K\bigl((K+\lambda I)\alpha-y\bigr).

令梯度为零，得到正规方程 $K(K+\lambda I)\alpha=Ky$ 。由于 $\lambda>0$ 时 $K+\lambda I$ 可逆，

\alpha=(K+\lambda I)^{-1}y

是一个解（即使 $K$ 奇异，这个 $\alpha$ 也满足正规方程；不同的解给出同一个函数）。预测为

f^*(x)=k(x)^\top(K+\lambda I)^{-1}y, \\ k(x)=\bigl(k(x,x_1),\dots,k(x,x_n)\bigr)^\top.

这就是核岭回归。它的计算代价是 $O(n^3)$ 时间、 $O(n^2)$ 内存；预测一个点需要 $O(n)$ 次核函数求值。

5.2 支持向量机

软间隔 SVM 在 RKHS 中的 primal 问题是

\min_{f\in\mathcal H,\,b\in\mathbb R} \left\{ \frac12\|f\|_{\mathcal H}^2 +C\sum_{i=1}^n\max\bigl(0,1-y_i(f(x_i)+b)\bigr) \right\}.

固定 $b$ ，正则项 $\Omega(t)=t/2$ 严格递增，损失是 hinge loss。表示定理给出

f^*(x)=\sum_{i=1}^n\beta_i\,k(x,x_i).

代入后得到对偶问题

\max_{0\le\alpha_i\le C}\ \sum_{i=1}^n\alpha_i -\frac12\sum_{i,j=1}^n\alpha_i\alpha_j\,y_i y_j\,k(x_i,x_j)

约束为

\sum_{i=1}^n\alpha_i y_i=0.

这里 $\alpha_i$ 是对偶变量；在最优解处，表示系数 $\beta_i=\alpha_i y_i$ 。

KKT 条件给出：

若 $y_i(f(x_i)+b)>1$ ，则 $\alpha_i=0$ ；
若 $y_i(f(x_i)+b)<1$ ，则 $\alpha_i=C$ ；
若 $y_i(f(x_i)+b)=1$ ，则 $0\le\alpha_i\le C$ 。

$\alpha_i>0$ 的点就是支持向量。决策函数为

\operatorname{sign}\left(\sum_{i=1}^n\alpha_i y_i\,k(x,x_i)+b\right).

这里要特别澄清一个常见误解：SVM 的稀疏性不是表示定理给的。 表示定理只说 $f^*$ 是 $n$ 个核函数的线性组合， $\alpha_i$ 完全可以全部非零。真正让大部分 $\alpha_i$ 变成零的，是 hinge loss 的 KKT 条件：间隔大于 $1$ 的点对损失没有贡献，对应的乘子为零。

5.3 核逻辑回归

取逻辑损失：

\min_{f\in\mathcal H}\left\{ \sum_{i=1}^n\log\bigl(1+\exp(-y_i f(x_i))\bigr) +\frac{\lambda}{2}\|f\|_{\mathcal H}^2 \right\}.

表示定理同样适用， $f^*=\sum_i\alpha_i k(\cdot,x_i)$ 。有限维问题是

\min_{\alpha\in\mathbb R^n}\left\{ \sum_{i=1}^n\log\bigl(1+\exp(-y_i(K\alpha)_i)\bigr) +\frac{\lambda}{2}\alpha^\top K\alpha \right\}.

这是凸的、可微的，但没有闭式解，通常用 Newton 法、IRLS 或梯度类方法求解。与 SVM 不同，逻辑损失不会产生精确的零系数， $\alpha$ 一般是稠密的。

5.4 高斯过程

高斯过程（GP）回归从贝叶斯角度给出了同一个解。设先验

f\sim\mathcal{GP}(0,k),

观测模型

y_i=f(x_i)+\varepsilon_i,\qquad \varepsilon_i\sim N(0,\sigma^2),

则后验均值是

m(x)=k(x)^\top(K+\sigma^2 I)^{-1}y,

后验方差是

s^2(x)=k(x,x)-k(x)^\top(K+\sigma^2 I)^{-1}k(x).

后验均值正好是 $\lambda=\sigma^2$ 的核岭回归解，也就是表示定理给出的形式。区别在于，GP 还给出了不确定度 $s^2(x)$ ；表示定理只描述均值（或点预测）的结构。

5.5 平滑样条

表示定理最早的重要应用之一是平滑样条。取 $\mathcal X=[0,1]$ ， $\mathcal H$ 是 $m$ 阶 Sobolev 空间，正则项为

\lambda\int_0^1\bigl(f^{(m)}(x)\bigr)^2\,dx.

最小化

\sum_{i=1}^n\bigl(y_i-f(x_i)\bigr)^2 +\lambda\int_0^1\bigl(f^{(m)}(x)\bigr)^2\,dx

的解是一个以训练点为节点的 $2m-1$ 次自然多项式样条。表示定理给出了「解在训练点核函数张成空间中」的结构；样条的多项式零空间（ $m$ 维）则由半参数版本处理。 $m=2$ 时就是常见的自然三次样条。

这也是 Kimeldorf–Wahba 定理的内容。它说明表示定理并不是核方法时代才出现的技巧，而是从样条估计中生长出来的结构结论。

5.6 一张表

方法	损失	正则项	系数	稀疏性
核岭回归	平方	$\lambda\\|f\\|^2$	$(K+\lambda I)^{-1}y$	一般稠密
SVM	hinge	$\frac12\\|f\\|^2$	对偶二次规划	支持向量稀疏
核逻辑回归	logistic	$\frac{\lambda}{2}\\|f\\|^2$	凸优化	一般稠密
高斯过程	平方（高斯似然）	GP 先验	$(K+\sigma^2 I)^{-1}y$	一般稠密
平滑样条	平方	$\int(f^{(m)})^2$	样条系数	一般稠密

六、计算代价与大规模近似

表示定理把无穷维问题降到了 $n$ 维，但 $n$ 是训练样本数，可能很大。核矩阵 $K$ 需要 $O(n^2)$ 内存；核岭回归的 Cholesky 分解需要 $O(n^3)$ 时间；SVM 的通用二次规划更慢。预测一个新点需要计算它与所有训练点的核函数值，代价是 $O(n)$ （SVM 中是 $O(n_{\mathrm{SV}})$ ， $n_{\mathrm{SV}}$ 为支持向量数）。

当 $n$ 很大时，常用的近似方法有：

Nyström 近似：选 $m\ll n$ 个「地标点」，用 $K\approx K_{n,m}K_{m,m}^{-1}K_{m,n}$ 逼近核矩阵，代价从 $O(n^3)$ 降到 $O(nm^2+m^3)$ ；
随机傅里叶特征：用 $D$ 个随机特征近似平移不变核，把核方法转成 $D$ 维的线性方法，代价约为 $O(nD^2+D^3)$ ；
原问题方法：对线性核或可显式低维特征化的核，直接在原空间优化，避免 $n\times n$ 矩阵；
子集选择 / 预算方法：只保留一部分训练点作为核中心，控制模型规模。

这些方法改变的是「用多少个核函数」或「如何近似核矩阵」，而不是表示定理本身。表示定理保证精确解在 $n$ 维子空间里；近似方法则用低秩矩阵或低维特征来替代这个子空间的计算。

七、表示定理与深度学习

表示定理并没有随着深度学习的兴起而过时。相反，它在神经正切核（Neural Tangent Kernel, NTK）的框架里重新出现。

考虑一个无限宽的神经网络，用梯度下降在平方损失上训练。在适当的参数化和训练体制下，网络函数会收敛到核回归的解：

f(x)=k_{\mathrm{NTK}}(x,X)\bigl(K_{\mathrm{NTK}}+\lambda I\bigr)^{-1}y,

其中 $k_{\mathrm{NTK}}$ 是网络对应的神经正切核， $K_{\mathrm{NTK}}$ 是它在训练点上的核矩阵。这个式子与式 (3) 完全同构：预测值是训练点上核函数值的线性组合。

这解释了为什么在 NTK 机制里，深度网络的预测可以写成「训练目标的核加权和」。但也要注意它的边界：NTK 描述的是无限宽、线性化、平方损失、梯度流（或小学习率）的极限；它并不是对一般深度网络特征学习的完整解释。表示定理在这里的作用，是给这个极限提供一个清晰的结构语言。

九、结语

表示定理的核心是一句几何话：损失函数看不见训练点之外的正交分量，而正则项会惩罚它。 因此，最优解没有理由保留这个分量；在严格递增的正则项下，它必然落在训练点核函数张成的子空间里。

这个论证只用了两件事：再生性 $f(x)=\langle f,k(\cdot,x)\rangle$ ，以及范数的勾股分解。它不需要损失凸、不需要可微、不需要核矩阵可逆。也正因如此，表示定理能同时覆盖核岭回归、SVM、核逻辑回归、高斯过程和平滑样条。

但它的边界同样清楚：正则项必须是范数的非减函数；若只是非减而非严格递增，定理给出的是「存在一个」这样的解，而不是「每一个」解都如此。非单调的正则项可以让解离开训练点子空间，4.2 节的反例说明这不是技术细节，而是定理的本质。无穷维并没有消失，它只是被 $n$ 个训练点压成了 $n$ 维。