BriefGPT.xyz
May, 2023
NTK逼近在更长时间内有效
The NTK approximation is valid for longer than you think
HTML
PDF
Enric Boix-Adsera, Etai Littwin
TL;DR
本篇研究探讨了神经切线核(NTK)近似在用方形误差训练模型中的有效性。在Chizat等人2019年的懒惰训练设置中，我们证明通过O(T)的模型缩放因子使得NTK近似能够有效直到训练时间T。我们的界限紧密且优于Chizat等人2019年的先前界限，该界限需要更大的缩放因子O(T^2)。
Abstract
We study when the
neural tangent kernel
(NTK) approximation is valid for training a model with the
square loss
. In the
lazy training
setti
→