本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

Jan, 2021

介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

Jul, 2021

提出了两个针对非凸情况的数值算法，用于快速解决优化问题。该算法基于可变度量介绍了近端项，这使得我们能够针对非凸结构优化问题构建新的近端分裂算法。在变量度量序列条件温和并且假设相关增广拉格朗日函数具有 Kurdyka-Lojasiewicz 性质的情况下，证明了该算法迭代可以收敛到 KKT 点，并获得了增广拉格朗日函数和迭代的收敛速度。

Jan, 2018

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

本文介绍了一种新的一阶原始 - 对偶优化框架，利用平滑、加速和同伦等三个经典思想，实现了具有许多广泛应用的凸优化，达到了最佳的收敛效果，针对只包含非平滑函数的情况。同时提供了重新启动策略，大大提高了实际性能，并展示了与增广拉格朗日方法的关系以及如何利用严格收敛率保证来利用强凸目标。最后提供了两个实例验证，表明新的方法可以优于 Chambolle-Pock 和交替方向乘法算法等现有的算法。

Jul, 2015

本论文考虑了一类具有偏微分方程约束条件的非光滑最优控制问题，采用了原始 - 对偶方法，并结合较大的步长或算子学习技术进行加速，其中加速的有效性经过了初步的数值结果验证。

Jul, 2023

本文提出一种新的加速梯度下降的变种，该方法不需要任何有关目标函数的信息，使用精确线性搜索进行实际加速收敛，可以根据已知的凸和非凸目标函数的下界进行收敛，具有原始对偶属性，并可在非欧几里得设置中应用。同时，我们还提出了一种适用于非平滑问题的通用方法。

Sep, 2018

本文提出了一种原始 - 对偶算法框架，以获得近似解决方案来解决典型的约束凸优化问题，并严格描述了常见结构假设如何影响数值效率。通过选择双重平滑策略和中心点，我们的框架将分解算法、增广 Lagrange 以及交替方向乘子方法作为其特殊情况，并为所有迭代的原始目标残差和原始可行性间隙提供最优收敛速率。

Jun, 2014

本文研究了一类非光滑的分散式多智能体最优化问题，该代理旨在最小化局部强凸光滑组成部分和一个共同的非光滑项。我们提出了一个通用的原始对偶算法框架，统一了许多现有的最先进的算法。我们在非光滑项存在的情况下，证明了所提出的方法向确切解的线性收敛。此外，对于更一般的具有代理特定非光滑术语的问题类，我们展示了使用光滑和非光滑部分的梯度和临界映射的算法类别的线性收敛在最坏的情况下无法实现。我们进一步提供了一个数字反例，展示了某些最先进的算法如何在强凸目标和不同的局部非光滑项的情况下无法线性收敛。

Sep, 2019

本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

Mar, 2019