BriefGPT.xyz
Ask
alpha
关键词
coherent gradients
搜索结果 - 2
弱梯度和强梯度方向:解释尺度下的记忆、推广和难度
本文通过对 ResNet,Inception 和 VGG 等模型的实验验证了相干梯度假设,并提出了具有可扩展性的抑制弱梯度方向的方法,这是首次令当代的监督学习提供令人信服的概括能力证据。
PDF
4 years ago
ICLR
相干梯度:一种理解基于梯度下降的优化中泛化性质的方法
本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设 Coherent Gradients,并支持该假设的启发式论证和简单实验证明。同时,该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。
PDF
4 years ago
Prev
Next