BriefGPT.xyz
Nov, 2024
下一个标记预测中的物理学
Physics in Next-token Prediction
HTML
PDF
Hongjun An, Yiliang Song, Xuelong Li
TL;DR
本研究解决了在下一个标记预测（NTP）中信息守恒法则的相关问题，提出了信息容量的第一定律（IC-1），阐明了自回归模型中智能涌现的本质是信息转移过程。研究还引入了朗道尔原理，制定了信息容量的第二定律（IC-2），揭示了自回归模型训练与能量消耗之间的关系，并提供了具有实际意义的推论，验证了与现有理论的兼容性与互补性。
Abstract
We discovered the underlying physics in
Next-token Prediction
(NTP). We identified the law of
Information Conservation
within NTP and proposed the First Law of Information Capacity (IC-1), demonstrating that the
→