本研究引入了一种通用方案，利用对加速邻域点算法的新分析，加快一阶优化方法。通过近似解决一系列精心选择的辅助问题来最小化凸目标，从而实现更快的收敛速度，为包括梯度下降、块坐标下降、SAG、SAGA、SDCA、SVRG、Finito/MISO 及其邻域点变体在内的大类算法提供加速和明确的非强凸目标支持，加速在实践中证明对病态问题尤其有用。

Jun, 2015

本文提出了两种针对带约束凸问题的一阶方法，分别使用增广拉格朗日方法和单一近端梯度步进行变量更新，并证明了它们的全局和局部收敛性。数值实验验证了理论结果与实际表现的一致性。

Nov, 2017

本论文提出一种优化的一阶方法，用于平滑无约束凸规划问题，达到比 Nesterov 的快速梯度下降法收敛速度两倍更快的收敛速度，并具有与 Nesterov 的快速梯度下降方法相似的高效的递归形式。

Jun, 2014

本文介绍了一种零阶 Frank-Wolfe 算法，用于解决约束随机优化问题，该算法与基本 Frank-Wolfe 算法同样无需投影，且不需要计算梯度，可收敛于凸平滑约束下的优化目标函数。同时，本算法在具有每次迭代一个方向导数的所有零阶优化算法中具有最优维度依赖性。对于非凸函数，本算法的 Frank-Wolfe gap 为 O (d^{1/3} T^{-1/4})，并在黑盒优化设置上进行实验，证明了其效果。

Oct, 2018

提出了一种增量主化极小化算法，用于最小化连续函数的大量和，研究给出了非凸优化的渐近稳定点保证，并针对凸优化提供了期望目标函数值的收敛速度，在实验中展示了该方法在解决机器学习问题方面的竞争力以及处理非凸性惩罚稀疏估计的实用性。

Feb, 2014

本文提供了一种新颖的计算机辅助技术，用于系统地分析面向优化的一阶方法，并且与以往的工作相比，该方法特别适用于处理次线性收敛率和随机预言机。该技术依赖于半定规划和潜力函数，并允许同时获得算法行为的最坏情况保证，并帮助选择适当的参数以调整其最坏情况表现。

Feb, 2019

本文研究分布式最优化问题，特别关注分布式的梯度方法，针对机器学习和信号处理等领域的实际场景给出了有效的应用方案。

Sep, 2020

本文探讨了凸优化中的两个基本一阶算法，梯度下降法（GD）和近端梯度法（ProxGD）。我们着重于通过利用光滑函数的局部曲率信息，使这些算法完全自适应。我们提出了基于观察到的梯度差异的 GD 和 ProxGD 的自适应版本，因此没有额外的计算成本。此外，我们证明了方法的收敛性，仅需假设梯度在局部利普希茨连续。此外，所提出的版本允许使用比 [MM20] 最初建议的更大的步长。

Aug, 2023

该篇研究综述了一系列针对包含大量凸组件函数的最小化求和问题的方法，这些方法通常采用单个组件的迭代，并分析了这些方法的收敛性和收敛速度。 此外，作者还探讨了这些方法在推理 / 机器学习、信号处理和大规模 / 分布式优化等方面的应用。

Jul, 2015

利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法，在解决具有复杂目标函数的非凸、非光滑最小化问题时，实现全局收敛。

Jun, 2017