📖 All Blogs
大语言模型中的表征流形
将 LLM 的表征流形形式化：以度量空间定义特征，证明余弦相似度编码了特征之间的测地距离，并在颜色、日期与年份三类数据上实证验证了同胚性与等距性。
对角线论证：改变数学与计算机的证明方法
对角线论证由康托尔于 1891 年提出，通过构造一个能逃脱任何「完备列表或映射」的对象，证明某些无穷严格大于另一些无穷。这一自指技巧同样蕴含于康托尔定理、图灵停机问题与哥德尔不完备定理之中——一个统一了集合论、可计算性与逻辑学的思想。
在开始 AGI 之前，先定义它
AGI 研究仍停留在经验层面，缺乏基础性的理论框架。计算主义与不可判定问题之间存在核心张力，AIXI 正是一个例证。作者提出，与环境保持连续的因果耦合可能是缺失的公理，并呼吁寻找能约束任何物理可实现智能的根本性约束原理。
涌现是幻象吗？
Schaeffer 等人表明，LLM 的「涌现能力」往往只是不连续的指标掩盖了平滑的能力增长。但 grokking、归纳头以及居里点式的转变都证明，真实的相变确实存在。
最大似然估计视角下的神经网络
从统计学习的视角看，现代神经网络确实可以理解为一个大规模的最大似然估计（MLE）过程。具体而言，神经网络是一个参数化函数，而最常见的训练方式正是在数据上做最大似然估计。