本文探讨了与正则化的经验风险线性预测器极小化相伴的一般凸优化问题，并将其重构为凸凹鞍点问题。我们提出了随机原始对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上进行最大化和在原始变量上进行最小化之间交替运算，并通过原始变量的外推步骤以提高收敛速度。我们还开发了 SPDC 方法的小批量版本，以便实现并行计算，并在对偶变量的加权采样概率上进行了扩展，使其比非标准化数据上的均匀采样具有更好的复杂度，理论和经验表明 SPDC 方法与一些最先进的优化方法相比具有可比或更好的性能。

Sep, 2014

本文围绕随机梯度下降 (SGD) 优化方法，在经验风险最小化的线性预测器上，利用原始 - 对偶视角对 SGD 进行了分析，并证明了一种细粒度复杂度界的方法，以数据矩阵为基础，证明了它比现有的复杂度界更加紧密地预测了 SGD 的性能。

Jun, 2023

本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

Sep, 2017

提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

Mar, 2014

本文提出了一种基于原始 - 对偶框架的分布式优化算法，无需使用难以构建的双重随机混合矩阵，通过维护对偶变量来跟踪相邻节点之间的差异，使用这种方法构建的分布式算法比采用梯度跟踪的算法具有更好的性能。

Dec, 2020

本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

Jun, 2015

本研究提出了一种双重随机算法，使用新的加速多动量技术来解决学习任务中的大规模经验风险最小化问题，各迭代只访问一小批样本和同时更新一小块变量坐标，从而在同时涉及海量样本大小和超高维度时显著减少了内存引用量，实证研究也说明了该方法在实践中的高效性。

Apr, 2023

本文介绍了一种基于近端随机对偶坐标上升方法的算法，并演示了如何使用内外迭代过程加速该方法。我们分析了该框架的运行时，并获得了改进各种关键机器学习优化问题（包括 SVM、逻辑回归、岭回归、套索以及多类别 SVM）的最新结果的速率。实验验证了我们的理论发现。

Sep, 2013

本文提出了批处理和随机的原始 - 对偶算法，可以自适应地利用数据的强凸性，即使在没有正则化的情况下也能实现线性收敛，并介绍了适用于逻辑回归的免双重正演算法。

Mar, 2017

基于正则化预期奖励优化问题，我们应用分析了经典的随机近端梯度方法，在标准条件下表明该方法在收敛到 ε- 稳定点的样本复杂度为 O (ε^{-4})。考虑到经典随机梯度估计器的方差通常较大，导致收敛速度变慢，我们还应用了一种高效的随机方差缩减近端梯度方法与基于重要性采样的概率梯度估计器 (PAGE)。我们的分析结果表明，在附加条件下，样本复杂度可以从 O (ε^{-4}) 提高到 O (ε^{-3})。在强化学习文献中的类似设置下，我们的结果与竞争对手的随机 (方差减小) 近端梯度方法的样本复杂度相匹配。

Jan, 2024