📖 所有博文
非线性与激活函数
线性要求满足可加性与齐次性，但神经网络需要非线性才能摆脱简单的仿射变换。仿射层只能对数据进行拉伸和旋转，而不改变其拓扑结构；激活函数则能实现复杂的形变，使网络能够解开数据流形，有效地学习复杂模式。
Vapnik-Chervonenkis Dimension 简论
Vapnik-Chervonenkis Dimension 是统计学习理论中刻画假设类容量的核心概念。本文从打散与增长函数出发，完整推导 Sauer–Shelah 引理与一致收敛泛化界，再讨论它为何在深度网络上失效，以及间隔界、PAC-Bayes、稳定性等替代方案如何回应这一困境。
Fano 不等式与 Le Cam 方法
极小极大下界的三种基本工具：Le Cam 两点方法、Fano 不等式与 Assouad 引理。本文从决策论框架出发，给出完整证明与常数，并用高斯均值、非参数回归等例子展示如何把信息论不等式变成速率下界。
斯特林公式
斯特林公式揭示了当 n 趋向无穷大时 n!、nⁿ 与 eⁿ 之间的关系。
核方法基石：Representer Theorem
表示定理是核方法的一个基石性结论。它指出：对于一个在再生核希尔伯特空间（RKHS）中带有范数正则化的经验风险最小化问题，其最优解一定可以写成核函数在训练样本点上的线性组合。