BriefGPT.xyz
Ask
alpha
关键词
large-scale dnn optimization
搜索结果 - 1
mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS
mL-BFGS 是一种基于动量的轻量级 L-BFGS 算法,为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案,并显著减少 Hessian 中的随机噪声,从而
→
PDF
a year ago
Prev
Next