该研究论文证明了在高维、潜在非凸函数上找到 ε- 稳态点的复杂性下界，并探讨了基于 Oracle 算法的复杂度测量方法，显示出梯度下降、三次正则化牛顿法和广义 p 次正则化在自然函数类中是最优的。

Oct, 2017

研究在高度并行的梯度预言下，非光滑凸优化问题中梯度下降算法的优化次数上限，证明了仅当算法经过～(d)^(1/2) 轮的交互，梯度下降才是最优算法，并提出一种思路更优的算法。

Jun, 2019

我们提出了一种通过在每次迭代中使用半定规划来构造和最小化一个关于所需最小化函数的 $d$ 阶泰勒展开的平方和凸逼近，从而实现了包括 $d$ 阶导数在内但每次迭代的成本与维度呈多项式关系的 Newton 方法的推广。我们证明了我们的 $d$ 阶方法具有 $d$ 阶的局部收敛性，相对于经典的 Newton 方法，这导致了较低的预测器复杂性。我们在数值实例上展示了随着 $d$ 的增加，局部最小值周围的吸引盆地可以变得更大。在额外的假设下，我们提出了一种修改的算法，同样具有多项式成本的每次迭代，并且具有全局收敛性和 $d$ 阶的局部收敛性。

Nov, 2023

本文探讨了利用仅包含部分和嘈杂信息的凸函数最小化问题，特别着重于高度平滑问题的凸优化问题，包括逻辑回归等。研究表明，相对于基于梯度的算法，高阶平滑性可用于改善估计速率，并精确地依赖于平滑度的程度，同时提出了此类算法可行性的上限。最后，作者还在在线优化设置中取得了类似的结果。

May, 2016

使用 oracle 和 Newton 方法来设计加速算法以达到更优秀的拟合结果。

Mar, 2020

本文提出相对平滑性和相对强凸性的概念，并相应地将标准算法扩展到新的设置中，应用于发展新的一阶方法来解决 D - 优化设计问题并进行计算复杂度分析。

Oct, 2016

本研究探讨了 NoLips 方法（即 Bregman 梯度）收敛速度为 $O（1/k）$，并且这种速度对于满足 $h$-smoothness 假设的函数类是最优的。我们还介绍了如何通过扩展 Drori 和 Teboulle 的计算机辅助表现估计框架，来得到相应的最坏情况函数，并处理可微和严格凸函数的类。

Nov, 2019

我们研究了具有重尾梯度的差分隐私随机凸优化（DP-SCO）问题，在这里我们假设样本函数的 Lipschitz 常数具有 k 次矩界而不是统一界。我们提出了一种新的基于约束的方法，使我们能够在重尾设置中获得首个最优速率（达到对数因子），在（ε，δ）- 近似差分隐私下，实现误差 G2⋅1/√n+Gk⋅(√d/nε)^(1-1/k)，几乎匹配于 [Lowy and Razaviyayn 2023] 的下界。在额外假设下，我们进一步给出了一套重尾设置的私有算法，包括在已知 Lipschitz 常数假设下的最优算法，平滑函数的近线性时间算法以及平滑广义线性模型的最优线性时间算法。

Jun, 2024

通过使用只需要计算梯度的加速梯度方法，该论文提出了一种快速求解具有 Lipschitz 连续的一阶和二阶导数的非凸优化问题的算法，该方法相较于梯度下降算法在复杂度和精度上都表现更优。

Nov, 2016

非凸函数的最小化，利用近似正负曲率方向步长，相对不精确度度量梯度和 Hessian 矩阵，松弛一阶和二阶精度的耦合，通过马丁格尔分析和浓度不等式得到收敛性分析，并将算法应用于经验风险最小化问题。

Oct, 2023