BriefGPT.xyz
Ask
alpha
关键词
learning rate adaptation
搜索结果 - 5
梯度优化中的走廊几何
通过研究梯度下降和梯度流的轨迹相同、损失线性减少的走廊区域，提出了走廊学习率自适应方案（CLR），证实了这种方案在神经网络的收敛性上的好处。
PDF
5 months ago
一种用于实现更快收敛和更陡下降的自动学习率调度算法
通过研究我们发现 delta-bar-delta 算法在神经网络优化过程中存在收敛问题，并提出了一种新方法 RDBD（可悔的 delta-bar-delta）来解决这些问题，并验证了其在小批量优化中克服收敛问题并提高优化算法收敛速度的有效性
→
PDF
9 months ago
FedHyper：面向超梯度下降联邦学习的通用稳健学习率调度器
FedHyper 是一种为联邦学习设计的基于超梯度的学习率自适应算法，能够在训练过程中自适应全局和局部学习率，具有出色的收敛速度和最终准确性，且相对于其他方法，在次优初始学习率设置下，能够提高 15% 的准确度。
PDF
9 months ago
关于联邦学习中负面客户采样问题的聚合梯度信任时间
该研究提出了一种新颖的学习率自适应机制用于解决联合学习中面临的非独立同分布数据样本训练的优化难题，并在多个图像和文本分类任务上进行了广泛的实验证明其有效性。
PDF
a year ago
可微分的自适应学习率
本研究提出一种新的学习率自适应算法来解决 Hypergradient 优化算法在处理大规模数据集和验证集上的表现问题，实验证明该算法在速度和精度上都能超越现有的优化算法。
PDF
2 years ago
Prev
Next