BriefGPT.xyz
Ask
alpha
关键词
batch size adaptation
搜索结果 - 1
将自适应批量大小与学习率相结合
本论文提出了动态批次大小自适应方法,通过估计随机梯度的方差并将批次大小调整为与目标函数成比例的方式,从而消除了先前所述的学习速率降低的需要。与相关工作不同的是,我们的算法将批次大小与学习速率相结合,直接反映了两者之间的已知关系。在流行的图像
→
PDF
8 years ago
Prev
Next