adaptive step size | BriefGPT

关键词adaptive step size

搜索结果 - 4

AdaBatchGrad: 组合自适应批量大小和自适应步长
这篇论文介绍了一种新颖的随机梯度下降法 (SGD) 的改进方法，称为 AdaBatchGrad。该方法通过集成自适应步长和可调整批大小，提高了 SGD 的收敛性和稳定性。通过实验证明，引入自适应步长和批大小大大提高了正常 SGD 的性能，使
PDF5 months ago
基于 Polyak 步长和 ERM 中的函数分割的自适应学习率的函数值学习
我们开发了 SGD 的变体与自适应步长，利用抽样的损失值，重点解决有限项求和问题，也称为经验风险最小化。我们详细介绍了一种理想的自适应方法 $ exttt {SPS}_+$，它利用了抽样的损失值并假设知道最优情况下的抽样损失。我们展示了 $
PDFa year ago
ICML随机梯度下降算法自适应步长的局部二次收敛
研究了一种在求解矩阵求逆等问题中具有局部二次收敛性的随机梯度下降优化方法，该方法采用自适应步长和一阶优化方法，为优化方法在深度学习中的应用提供了一条快速收敛的途径。
PDF3 years ago
AAAI稳定的 Barzilai-Borwein 步长的随机非凸序嵌入
通过引入一种新的稳定 Barzilai-Borwein (SBB) 方法，我们提出了一种叫做 SVRG-SBB 的随机算法，用于从相对相似性比较中学习表示，该方法不需要使用奇异值分解（SVD），具有良好的可扩展性以及自适应步长选择。同时，
PDF7 years ago