BriefGPT.xyz
Ask
alpha
关键词
learning rate tuning
搜索结果 - 4
大语言模型时代中重新思考学习率调整
大型语言模型引起了深度学习在实现卓越的人类预测性能方面的最新成功。本文重新评估了大型语言模型时代中学习率调整的研究挑战和机遇，并提出了 LRBench++ 来评估学习率策略，验证了大型语言模型精调与传统深度神经网络训练之间的关键差异。
PDF
10 months ago
论本地更新方法中学习率的超大重要性
研究一种算法家族 —— 局部更新方法，证明其对于二次目标表现出随机梯度下降，设计了新的收敛速度来平衡模拟损失函数的条件数与真实损失函数之间的差距，并在实验中展示了适当的学习率调整对于达到最优行为的重要性以及自适应学习率衰减的实用方法.
PDF
4 years ago
利用统计学自动化随机优化
提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。
PDF
5 years ago
将自适应批量大小与学习率相结合
本论文提出了动态批次大小自适应方法，通过估计随机梯度的方差并将批次大小调整为与目标函数成比例的方式，从而消除了先前所述的学习速率降低的需要。与相关工作不同的是，我们的算法将批次大小与学习速率相结合，直接反映了两者之间的已知关系。在流行的图像
→
PDF
8 years ago
Prev
Next