本篇研究分析几种解决非凸优化问题的新方法，其中目标函数为由非凸光滑项和已知凸简单项组成的总和，提出了随机坐标下降算法，并研究了它们的收敛性质及一些最优性衡量指标。同时，还针对一般情况下的非凸复合优化问题，证明了算法所生成的序列渐近收敛到固定点，同时在某些最优性测度下期望具有亚线性收敛率，如果目标函数满足误差界限条件，则导出了目标函数期望值的局部线性收敛率，并进行了广泛的数值实验来评估算法性能和与现有方法的比较。

May, 2013

本文研究在多智能体网络中，基于 Bregman 散度作为距离测度函数，提出了两种高效的非欧几里德随机次梯度下降算法，用于求解非平滑和强凸函数的最小值，并在模拟实验中验证其收敛速度。

Oct, 2016

本文探讨随机次梯度镜像下降方法在解决受限凸规划问题中的应用及其收敛性分析，特别研究了带有加权迭代平均的随机次梯度镜像下降方法，并分析了其迭代收敛速度和优化效果。通过合适的步长取值，实现了具有强凸性和一般凸性的函数的最优平均速率，并且通过加权平均的方式，优于已有的算法。

Jul, 2013

本文提出了一种利用逐步学习非平滑函数 $g$ 的接近算子的降低三个凸函数之和的方法，可以有效地分离平滑部分和非平滑部分，同时证明了该方法的多个迭代复杂性结果，可以广泛应用于估计 $f$ 的梯度的策略，包括通过标准和方差减少的随机估计以及结合 SGD 或 SAGA 梯度估计用于经验风险最小化，还涵盖了多个现有算法，并得到在特定情况下的新算法。

May, 2019

通过开发随机块坐标下降法，我们证明该方法能够以概率至少为 1-rho 获得 Epsilon - 准确解，其迭代次数不超过 O (n / Epsilon*log (1/rho))，并且将前人研究的复杂度缩小 4 倍，消除了对数项中的 Epsilon，并成功地解决了 l1 正则化最小二乘和支持向量机等问题。

Jul, 2011

该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

Oct, 2012

通过使用分量函数的梯度和 prox oracles 提供了最小化 m 个凸函数平均值的复杂性的严格上下界；我们表明决定性和随机优化之间存在显着差距。对于光滑函数，我们表明在确定性和随机设置中，加速梯度下降 (AGD) 和 SVRG 的加速变体分别是最优的，并且梯度 Orcale 足以获得最佳速率。对于非光滑函数，通过接入 prox oracles 可降低复杂度，因此，我们提出基于平滑的最优方法，以改进仅使用梯度访问的方法。

May, 2016

本文介绍了新的随机方法来解决两个重要的非凸优化问题，其中引入了随机加速远程梯度 (RapGrad) 方法和随机加速远程对偶 (RapDual) 方法来减少计算开销和块数，实验结果表明这些算法具有优势。

May, 2018

本文研究子模函数最小化问题，并采用随机坐标下降方法来获得具有更快线性收敛率和更低迭代成本的算法。与交替投影方法相比，我们的算法不依赖于完全维度的向量运算，并且收敛所需的迭代次数显著减少。

Feb, 2015

提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

Mar, 2014