📖 Blogs of ai
大语言模型中的表征流形
将 LLM 的表征流形形式化：以度量空间定义特征，证明余弦相似度编码了特征之间的测地距离，并在颜色、日期与年份三类数据上实证验证了同胚性与等距性。
在开始 AGI 之前，先定义它
AGI 研究仍停留在经验层面，缺乏基础性的理论框架。计算主义与不可判定问题之间存在核心张力，AIXI 正是一个例证。作者提出，与环境保持连续的因果耦合可能是缺失的公理，并呼吁寻找能约束任何物理可实现智能的根本性约束原理。
涌现是幻象吗？
Schaeffer 等人表明，LLM 的「涌现能力」往往只是不连续的指标掩盖了平滑的能力增长。但 grokking、归纳头以及居里点式的转变都证明，真实的相变确实存在。