BriefGPT.xyz
Ask
alpha
关键词
loss-function landscape
搜索结果 - 1
ICLR
随机梯度下降的涨落 - 耗散关系
通过导出稳态波动耗散关系，我们证明了与随机梯度下降算法中的可测量量和超参数相关的关系，并使用这些关系来自适应地设置训练计划并高效提取丢失函数景观的信息，其可以准确地反映其海森矩阵和各向异性度量的幅度，实验证明了我们的说法。
PDF
6 years ago
Prev
Next