介绍了一种名为 Catalyst 的通用方案，通过解决一系列适当选择的辅助问题来加速各种优化算法（包括梯度下降、块坐标下降和增量算法），从而加快收敛速度。

Dec, 2017

该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

Mar, 2017

本文介绍了在目标函数为凸或强凸函数时获取加速一阶随机优化算法的各种机制，同时扩展了最初用于确定性目标的 Catalyst 方法到随机问题领域，并提供了一个新的关于处理不精确近端算子时的鲁棒性的泛化分析

Jun, 2019

本文研究迭代最小化目标函数代理的优化方法，通过算法变体和收敛性分析，提出一种统一的视角来看待加速近端梯度、区块坐标下降或 Frank-Wolfe 算法等一阶优化技术，并引入一种新的增量方案，实验证明与大规模机器学习优化问题中的最先进解算器匹配或超越其性能。

May, 2013

本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

Jan, 2021

本文提出了一个通用框架，允许加速几乎任意非加速确定性和随机算法用于光滑凸优化问题，其中通过使用加速的近端外梯度方法作为非加速内方法的包络来实现。该算法有两个关键不同之处：容易验证的内部算法停止标准和学习率的可调节性，使得此工作的主要贡献是适用于自适应内部算法 Steepset Descent、Adaptive Coordinate Descent 和 Alternating Minimization 的新框架。此外，在非自适应情况下，我们的方法允许获得没有对数因子的 Catalyst，这与标准 Catalyst 不同。

Nov, 2019

本文回顾了近端点法在大规模优化中的作用，并重点介绍了三个最新的例子：用于弱凸随机逼近的近端指导次梯度法，用于最小化凸函数和平滑映射组合的近端线性算法以及用于正则化经验风险最小化的 Catalyst 通用加速。

Dec, 2017

我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

Jun, 2015

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

通过基于近端法的直观高阶优化算法，提出了一种简明的统一加速框架，将 Ne 和 Ma 和 Mo 和 Svaiter 的两种不同高阶加速方法结合在一起，为高阶光滑性条件不明确的情形下提供了第一种应用高阶方法的方法，用实验验证其有效性。

Jun, 2019