📖 All Blogs
函数变化：梯度、雅可比和海塞矩阵
三者递进关系体现在：海塞矩阵是梯度的雅可比矩阵。即先对函数求一阶得梯度，再将梯度视为新的向量函数求一阶雅可比，自然就得到了二阶海塞。从这个角度看，雅可比是求导算子的矩阵化，而海塞是这一过程的二次应用。
零曲率与正曲率空间中的维数灾难
维数灾难并非某种特定的几何结构，而是由高维空间内在性质所引发的一类现象。
超球面上的 vMF 分布简介
von Mises–Fisher 分布（vMF）通常被视为正态分布在超球面上的对应物，因为它刻画了在单位超球面上围绕某一平均方向聚集的数据。
非线性与激活函数
线性要求满足可加性与齐次性，但神经网络需要非线性才能摆脱简单的仿射变换。仿射层只能对数据进行拉伸和旋转，而不改变其拓扑结构；激活函数则能实现复杂的形变，使网络能够解开数据流形，有效地学习复杂模式。
斯特林公式
斯特林公式揭示了当 n 趋向无穷大时 n!、nⁿ 与 eⁿ 之间的关系。