提出了一种基于 Anderson 加速的 IRL1 算法，并建立了其局部线性收敛速度，扩展了该收敛结果到非光滑情况。为了确保全局收敛性，引入了经典的非单调线搜索条件，实验结果表明该算法优于现有的基于 Nesterov 加速的算法。

Mar, 2024

本文提出了一种利用神经网络进行优化加速的方法，该方法结合了元学习和经典的加速方法，能够自动学习加速目标问题，从而提高计算速度和精度，并成功将该方法应用于解决凸锥规划问题。

Jul, 2021

本文提出了一种利用 Anderson 加速方法加速 Iterative Closest Point 算法的新方法，无需对现有代码进行实质性改动，使其更具实时性。利用 Point Cloud Library 实现本方法，并全面支持在真实数据上 achieved 相较于现有方法更好的加速效果。

Sep, 2017

介绍了一种名为 Catalyst 的通用方案，通过解决一系列适当选择的辅助问题来加速各种优化算法（包括梯度下降、块坐标下降和增量算法），从而加快收敛速度。

Dec, 2017

该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

Mar, 2017

本研究引入了一种通用方案，利用对加速邻域点算法的新分析，加快一阶优化方法。通过近似解决一系列精心选择的辅助问题来最小化凸目标，从而实现更快的收敛速度，为包括梯度下降、块坐标下降、SAG、SAGA、SDCA、SVRG、Finito/MISO 及其邻域点变体在内的大类算法提供加速和明确的非强凸目标支持，加速在实践中证明对病态问题尤其有用。

Jun, 2015

本文介绍了多步优化算法的收敛加速方案，并使用 Chebyshev 问题模拟了迭代过程中的行为，同时讨论了该方案在原始 - 对偶算法中的应用，并在逻辑回归问题中进行了数值实验。

Oct, 2018

本文提出了增量 Newton 方法和梯度增长条件，通过实例研究，发现增量 Newton 方法需要满足梯度增长条件才能达到线性收敛率，进而得到了分布式优化方法的线性收敛率结果。

Oct, 2014

本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

Apr, 2015

通过对于凸最小化问题的自适应方法的最新进展的利用，本文提供了一种无需线搜索的近端梯度下降框架，用于全局化收敛于流行的步长选择，如 Barzilai-Borwein 和一维 Anderson 加速。该框架可以处理梯度可微函数只具有局部 Holder 连续性的问题。我们的分析不仅包含但也改进了现有结果，并以数值证据来证明快速步长选择和自适应方法之间的协同作用。

Apr, 2024