BriefGPT.xyz
Ask
alpha
关键词
curvature of potential wells
搜索结果 - 1
神经网络权重矩阵的 Hessian 特征向量和主成分分析
该研究探讨了训练深度神经网络及其与网络参数之间的复杂动力学关系。通过研究我们发现,训练网络往往沿着单一方向进行训练,被称为漂移模式。通过损失函数的二次势模型,我们解释了这种漂移模式,并提出其向潜在值的指数级缓慢衰减。我们揭示了 Hessia
→
PDF
8 months ago
Prev
Next