Dirichlet 是单纯形上的分布、多项分布的共轭先验,也是「关于概率的概率」这一二阶对象的自然载体。本文先给出它在定义、矩结构、共轭更新与分裂构造上的完整形式化,神经网络的输出重解释为证据并参数化迪利克雷分布,推导证据深度学习的对数损失等应用。
从统计学习的视角看,现代神经网络确实可以理解为一个大规模的最大似然估计(MLE)过程。具体而言,神经网络是一个参数化函数,而最常见的训练方式正是在数据上做最大似然估计。
本文介绍了博弈论中经典的 37% 法则及其数学推导过程。