提出了一种新的随机迭代算法 —— 随机对偶上升 (SDA)，用于在线性系统的解空间中找到给定向量的投影。该算法通过随机矩阵的列子空间上的精心选择点来更新对偶变量，并证明了与对偶过程相关的原始迭代会期望指数级别收敛至投影。SDA 收敛于一致性之外的无其他假设的线性系统，特殊情况下，该方法可用于分布式平均共识问题，产生各种新算法。

Dec, 2015

本研究介绍了随机对偶坐标上升法 (SDCA) 的新分析，证明了这类方法具有与随机梯度下降法 (SGD) 相当或更好的理论保证，从而证明了 SDCA 在实际应用中的有效性。

Sep, 2012

介绍了 AdaSDCA：一种自适应的随机对偶坐标上升（SDCA）变体，用于解决正则化经验风险最小化问题。AdaSDCA 通过在迭代过程中自适应地改变对偶变量上的概率分布，实现了比 SDCA 更好的复杂度界限。同时，我们提出了 AdaSDCA+：一种实用的变体，在实验中表现优于现有的非自适应方法。

Feb, 2015

本文介绍了一种 Stochastic Dual Coordinate Ascent 算法的变体，用于解决非凸损失函数的正则化损失最小化问题，并且证明了只要期望损失是凸的，就可以确保该算法具有线性收敛速度。

Feb, 2015

提出了改进型的随机对偶坐标上升方法，无需显式正则化，无需依赖对偶性，甚至对于非凸损失函数，只要期望损失函数是强凸的，就可以证明收敛率是线性的。

Feb, 2016

本文提出了 SGDA 的统一收敛性分析框架，覆盖了各种随机梯度下降上升方法，并分别提出了多种新变体方法，通过大量数值实验证明了这些方法的重要性质。

Feb, 2022

本文探讨了与正则化的经验风险线性预测器极小化相伴的一般凸优化问题，并将其重构为凸凹鞍点问题。我们提出了随机原始对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上进行最大化和在原始变量上进行最小化之间交替运算，并通过原始变量的外推步骤以提高收敛速度。我们还开发了 SPDC 方法的小批量版本，以便实现并行计算，并在对偶变量的加权采样概率上进行了扩展，使其比非标准化数据上的均匀采样具有更好的复杂度，理论和经验表明 SPDC 方法与一些最先进的优化方法相比具有可比或更好的性能。

Sep, 2014

本文介绍了一种基于近端随机对偶坐标上升方法的算法，并演示了如何使用内外迭代过程加速该方法。我们分析了该框架的运行时，并获得了改进各种关键机器学习优化问题（包括 SVM、逻辑回归、岭回归、套索以及多类别 SVM）的最新结果的速率。实验验证了我们的理论发现。

Sep, 2013

该论文提出了一种改进的 mini-batch 随机双坐标上升方法，用于正则化经验损失最小化（即，支持向量机和支持向量机类型目标）。我们的分析允许灵活的抽样方案，包括数据分布跨多台机器，并结合了对损失平滑度和 / 或数据展开性的依赖（通过谱范数度量）。

Jul, 2015

该论文提出了分布式双随机平均梯度算法 (DSA) 来解决大规模机器学习问题，具有线性收敛特性，相对于其他分散式随机优化方法，可以减少收敛时间和处理的功能向量数量。

Jun, 2015