📖 statistics 的博文
F-散度族及其推论
f-散度族(f-divergence)用一个凸函数 f 统一刻画两个概率分布之间的差异,KL、JS、全变差、卡方、Hellinger、α-散度都是它的特例。
Dirichlet 分布与证据深度学习
Dirichlet 是单纯形上的分布、多项分布的共轭先验,也是「关于概率的概率」这一二阶对象的自然载体。本文先给出它在定义、矩结构、共轭更新与分裂构造上的完整形式化,神经网络的输出重解释为证据并参数化迪利克雷分布,推导证据深度学习的对数损失等应用。
最大似然估计视角下的神经网络
从统计学习的视角看,现代神经网络确实可以理解为一个大规模的最大似然估计(MLE)过程。具体而言,神经网络是一个参数化函数,而最常见的训练方式正是在数据上做最大似然估计。
贝叶斯决策理论
贝叶斯决策理论把不确定性与行动代价分开处理:先由先验与似然得到后验,再用损失函数把后验逐点映射为最优行动。
苏格拉底:寻找最大的麦穗的故事
本文介绍了博弈论中经典的 37% 法则及其数学推导过程。