本文探讨次梯度法在极值点问题（特别是带有 Hölder增长 ）中，固定和衰减步长下的收敛性及误差，并介绍了一种名为“下降楼梯”的步长方式，最终提出了一种自适应变体方法以实现更快的收敛速度。

Apr, 2017

通过对Shor子梯度分析的推广，我们将子梯度方法的经典收敛速度理论扩展到可适用于非Lipschitz函数。我们证明了在任何具有局部Lipschitz性的凸函数中，确定性投影子梯度算法的全局O（1/√T）收敛速度。我们还表明，对于具有最多二次增长的凸函数，随机投影子梯度方法的收敛速度为O（1/√T），在强凸性或较弱的二次下限条件下，该速度可进一步提高至O(1/T)。

Dec, 2017

本文证明了应用于弱凸问题的近端随机亚梯度法能将Moreau包络的梯度速率推向零点，因此我们实现了关于最小化光滑非凸函数和凸可靠函数之和的近端随机梯度下降法的收敛速率的一个开放性问题。

Feb, 2018

本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向0，该衰减速度为O(k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

Mar, 2018

我们介绍了MOPES方法和MOLES方法，用于在具有昂贵的投影和线性最小化查询的情况下，高效地寻找在强凸约束集上的次优解。 MOPES方法通过Moreau-Yosida平滑和加速的一阶方案结合，并通过仅需O(ε ^ -1)投影查询和最少的O(ε ^ -2)函数值查询即可找到次优解。 MOLES方法仅具有线性最小化查询，但需要更多的函数值查询。

Oct, 2020

本文研究了使用外推方法解决光滑凸函数的一阶最小化问题的加速率。通过建立收敛速度与相对Lipschitz连续性的关系，进一步推广了框架以处理局部和随机相对Lipschitz连续性，并基于区域凸性和加速（随机）坐标下降实现了盒约束ℓ∞回归的复杂度界。

Nov, 2020

本文针对强凸但潜在不光滑非Lipschitz的优化问题，提出了新的等价的对偶描述，使得 $O(1/T)$ 收敛保证适用于几乎任何步长选择和一系列非Lipschitz病态问题，并提供了优化证书。

May, 2023

本文提出了一种用于解决非凸、非光滑优化问题的近端次梯度方法（Prox-SubGrad），并通过建立一些子梯度上界及其关系，简化和统一了收敛速度的证明方案，同时还提出了一些新的随机子梯度上界条件，并为随机子梯度方法（Sto-SubGrad）建立了收敛和迭代复杂度。

Aug, 2023

本研究考虑在没有标准Lipschitz连续性假设的随机弱凸优化问题中，基于新的自适应正则化（步长）策略，我们展示了一类广泛的随机算法包括随机次梯度法在具有恒定错误率的情况下保持O(1/√K)的收敛速率。我们的分析基于弱假设：Lipschitz参数可以由||x||的一般增长函数界定，或通过独立随机样本进行局部估计。

Jan, 2024

这篇文章研究了在有界局部次梯度变化情况下的非光滑优化问题，定义了目标函数的类别，包括传统优化问题中基于目标函数的Lipschitz连续性或梯度的Holder/Lipschitz连续性的函数，并且包含了既不是Lipschitz连续也没有Holder连续梯度的函数类别。研究结果表明在传统的优化问题类别中，所定义的类别参数能够得到更为精细的复杂度界限，并恢复了最坏情况下的传统oracle复杂度界限，同时对于不是最坏情况的函数通常能够得到更低的oracle复杂度。此外，该文章还强调了在并行计算环境中非光滑优化的复杂度与次梯度集合的平均宽度有关。

Mar, 2024