本研究介绍了随机对偶坐标上升法(SDCA)的新分析，证明了这类方法具有与随机梯度下降法(SGD)相当或更好的理论保证，从而证明了SDCA在实际应用中的有效性。

Sep, 2012

本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术，即随机对偶坐标上升算法（SDCA）的一种扩展，首次引入了一种加速版的mini-batch SDCA算法，并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法，并将结果与常规SDCA和加速的确定性梯度下降方法进行了比较。

May, 2013

本文介绍了一种基于近端随机对偶坐标上升方法的算法，并演示了如何使用内外迭代过程加速该方法。我们分析了该框架的运行时，并获得了改进各种关键机器学习优化问题（包括SVM、逻辑回归、岭回归、套索以及多类别SVM）的最新结果的速率。实验验证了我们的理论发现。

Sep, 2013

本文提出了一种基于限制记忆的BFGS更新公式和子采样Hessian-向量积的随机拟牛顿方法来有效地、稳健地和可伸缩地处理如何将曲率信息纳入随机逼近方法的问题，并通过机器学习问题上的数值结果展示其前景。

Jan, 2014

介绍了AdaSDCA：一种自适应的随机对偶坐标上升（SDCA）变体，用于解决正则化经验风险最小化问题。AdaSDCA通过在迭代过程中自适应地改变对偶变量上的概率分布，实现了比SDCA更好的复杂度界限。同时，我们提出了AdaSDCA+：一种实用的变体，在实验中表现优于现有的非自适应方法。

Feb, 2015

本文提出了一种新算法用于规则经验风险最小化问题，可以使非凸损失函数也能收敛，达到与 QUARTZ 相同的复杂度，同时也能更好地利用数据信息，实现任意小批量的设计。

Jun, 2015

本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

Jun, 2015

提出了改进型的随机对偶坐标上升方法，无需显式正则化，无需依赖对偶性，甚至对于非凸损失函数，只要期望损失函数是强凸的，就可以证明收敛率是线性的。

Feb, 2016

本文提出了一个随机变体的经典算法--立方正则化牛顿方法。该算法可以有效地避免鞍点问题，并在仅需要$\mathcal{\tilde{O}}(\epsilon^{-3.5})$个随机梯度和随机海森向量乘积评估的情况下，为一般光滑的非凸函数找到近似的局部极小值。

Nov, 2017

我们提出了两种非常简单的随机二阶方法，用于最小化大量充分光滑和强凸函数的平均值。第一种是牛顿方法的随机变体（SN），第二种是具有立方正则化的牛顿方法的随机变体（SCN）。与现有的随机二阶方法不同，我们的方法没有这种缺点，例如，我们的方法的最简单的变体每次迭代只需要计算一个随机选择函数的梯度和海森矩阵。与大多数现有的随机牛顿和拟牛顿方法相比，人们的方法保证了比一阶 oracle 更快的本地收敛，同时适应了问题的曲率。有趣的是，我们的方法不是无偏的，因此我们的理论为设计新的随机方法提供了新的直觉。

Dec, 2019