IJCAIApr, 2023

大规模经验风险最小化的加速双随机梯度算法

PDF
TL;DR本研究提出了一种双重随机算法，使用新的加速多动量技术来解决学习任务中的大规模经验风险最小化问题，各迭代只访问一小批样本和同时更新一小块变量坐标，从而在同时涉及海量样本大小和超高维度时显著减少了内存引用量，实证研究也说明了该方法在实践中的高效性。
发现论文，激发创造
  • 鲁棒梯度下降的高效学习

    提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

    Jun, 2017

  • 有序 SGD: 一种新的经验风险最小化随机优化框架

    论文提出了一种新的随机优化方法，它有针对性地偏向于高损失值的观测结果，并证明该算法对于凸损失具有亚线性收敛率，对于弱凸损失（非凸）具有关键点，同时在 SVM、逻辑回归和深度学习等模型中获得了更好的测试误差。

    Jul, 2019

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017

  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 随机原始 - 对偶法用于经验风险最小化，每次迭代复杂度为 O（1）

    本文提出了新的随机原始对偶算法，用于解决具有线性预测器的正则化经验风险最小化问题。通过泰勒展开、凸组合和割平技巧得到具有较优复杂度和收敛性质的算法，进一步提出了方差减少版算法和数值实验表明该算法在高维问题上优于现有算法，收敛速度更快。

    Nov, 2018

  • 大规模优化的随机主支配 - 最小化算法

    本文提出了一种可扩展的随机主化最小化方案，能够应对大规模或可能无限的数据集，解决凸优化问题，并开发了几种基于此框架的有效算法，包括一个新的随机近端梯度方法，用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。

    Jun, 2013

  • $μ^2$-SGD: 双动量机制实现稳定随机优化

    研究通过基于动量的两种近期机制，结合两者来得出新的梯度估计，设计基于 SGD 的算法和加速版本的算法，并展示这些新方法对学习率选择的鲁棒性以及在无噪音和有噪音情况下具有相同的最佳收敛速度。

    Apr, 2023

  • 自适应带动量的 SGD 高概率分析

    本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

    Jul, 2020

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 分布鲁棒学习的无偏梯度估计

    通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

    Dec, 2020