BriefGPT.xyz
Jun, 2024
神经网络规模定律的信息论基础
Information-Theoretic Foundations for Neural Scaling Laws
HTML
PDF
Hong Jun Jeon, Benjamin Van Roy
TL;DR
通过建立信息论基础，我们研究了神经缩放定律，并揭示了在无限宽度的两层神经网络生成的数据中，数据和模型大小的最佳关系大致呈线性，进一步验证了大规模的实证研究结果。
Abstract
neural scaling laws
aim to characterize how
out-of-sample error
behaves as a function of model and training dataset size. Such scaling laws guide allocation of a
→