BriefGPT.xyz
Ask
alpha
关键词
locally-optimal stepsize
搜索结果 - 1
动态步长调度的局部最优下降
我们介绍了一种新颖的动态学习率调度方案,旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长,确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界,与最新的边界相匹配,仅假设对
→
PDF
7 months ago
Prev
Next