本文将提出一种新的混合优化方法用于平滑函数优化的同时，考虑了随机预测和完整梯度的优化，通过最多使用O(lnT)次完整梯度oracle和O(T)次随机oracle，可以实现O(1/T)的优化误差。

Jul, 2013

本文提供一个简明的证明，只需遵循两个规则即可自动化梯度下降：1）不要过快增加步长，2）不要超出局部曲率；通过遵循这些规则，可以得到对局部几何条件自适应的方法，收敛保证只取决于解的附近的平滑度，因此收敛于任何凸问题中，包括可以最小化任意连续两次可微的凸函数的问题，本文将探讨该方法在一系列凸和非凸问题上的性能。

Oct, 2019

通过非统一的平滑性和非统一的Lojasiewicz不等式，提出了一些新的方法，用于更快地达到全局最优点，在强化学习和监督学习中表现出了广泛的适用性及实验效果。

May, 2021

本文探讨了随机梯度下降法与多项式衰减步长之间的关系，并证明无调谐的随机梯度下降法具有渐进最优的收敛速率，但需要面临指数级的平滑度常数；而规范化SGD、AMSGrad和AdaGrad方法可以在不知道平滑度参数和随机梯度边界条件的情况下消除梯度爆炸问题。

May, 2023

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和Nesterov加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023

本文针对一个类别的复合非凸非光滑优化问题，通过使用两个不同的一阶预言机，在最优性公差ϵ>0的情况下建立FOMs的下界复杂性界，并提出一个非精确近端梯度法来解决该问题。所提出的IPG方法的预言机复杂度与我们建立的下界匹配。

Jul, 2023

我们开发了一种梯度下降法的新次优性边界，该边界依赖于优化路径中的目标条件，而不是全局最坏情况下的常数。我们的证明关键在于方向平滑性，这是一种梯度变化的度量，我们用它来开发上界约束。通过求解隐式方程来最小化这些上界约束，我们展示了这些方程对于凸二次函数是容易解决的，并为两种传统步长提供了新的保证。对于一般函数，我们证明了Polyak步长和归一化梯度下降法尽管不使用方向平滑性的任何知识，但能够获得快速的路径相关性。逻辑回归上的实验证明，我们的收敛保证比基于L平滑性的传统理论更紧致。

Mar, 2024

本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的O(ε^(-3))样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

Mar, 2024

这篇文章研究了在有界局部次梯度变化情况下的非光滑优化问题，定义了目标函数的类别，包括传统优化问题中基于目标函数的Lipschitz连续性或梯度的Holder/Lipschitz连续性的函数，并且包含了既不是Lipschitz连续也没有Holder连续梯度的函数类别。研究结果表明在传统的优化问题类别中，所定义的类别参数能够得到更为精细的复杂度界限，并恢复了最坏情况下的传统oracle复杂度界限，同时对于不是最坏情况的函数通常能够得到更低的oracle复杂度。此外，该文章还强调了在并行计算环境中非光滑优化的复杂度与次梯度集合的平均宽度有关。

Mar, 2024

本研究解决了机器学习中优化问题的非光滑性问题，针对 convex $(L_0,L_1)$-光滑函数提出了新的收敛保证。研究通过改进梯度下降法的收敛速度，提出了一种新的加速方法，并扩展了结果到随机情况下，为自适应梯度下降法提供了新的收敛速率。

Sep, 2024