- 立方正则化子空间牛顿法用于非凸优化
该论文研究了优化非凸连续函数的问题，提出了一种名为 SSCN 的随机坐标二阶方法，通过在随机子空间应用立方正则化来降低使用二阶信息的计算复杂性，在高维场景中表现出了良好的适用性，并且通过提出自适应采样方案，实现了比传统一阶方法更快的速度。
- 自适应方差约减在较弱假设下随机优化中的应用
本篇论文探讨了基于 STORM 技术的自适应方差缩减方法。通过引入新设计的学习率策略，我们提出了一种新颖的自适应 STORM 方法，该方法对于非凸函数达到了最佳收敛率 O (T^-1/3)，同时无需额外的 O (log T) 项。我们还将该 - 非凸优化的采样与界限
用采样方法改进蒙特卡洛树搜索来实现全局非凸函数优化，避免传统分区树方法在高维情况下指数级增长的树规模，通过利用数值上估计的目标不确定性指标、采样估计的一阶和二阶信息，并且避免传统固定组合模式，快速高效地发现有潜力的区域，有效平衡探索与开发。 - 增强型随机梯度下降算法的改进步长：收敛性和实验
该论文提出了一种新颖的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降 (SGD) 算法的性能。所提出的步长整合了对数项，在最后的迭代中选择较小的值。通过分析，我们在非凸光滑函数无 Polyak-Lojasiewicz 条件的 - 具有证明的固定时间收敛和快速逃逸非退化鞍点的广义梯度下降
本文介绍了一种基于梯度的凸优化算法，提出了一种广义框架用于设计具有最强收敛保证的加速优化算法，该算法进一步扩展到一类非凸函数，具有 Polyak-Łojasiewicz 不等式，并且证明了 GenFlow 算法和其动量版本可以在固定时间内收 - BOME! 一种简单的一阶方法实现双层优化
本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。
- 去中心化在线随机非凸优化的收敛分析改进
本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足 Polyak-Lojasiewics 条件的全局非凸函数，我们确定了 G - ICML随机梯度下降法与有偏梯度的收敛性
分析了带偏差随机梯度方法的复杂性，特别是在非凸函数上的收敛性及更好的速率，探究了偏差大小对达到的准确性和收敛速率的影响，阐述了偏差梯度在分布式学习和无导数优化中的应用广泛性。
- 结构化非凸函数的 SGD：学习率、小批量和插值
本文研究了随机梯度下降（SGD）在优化非凸函数方面的应用，提出了一些收敛理论，说明了在满足结构性假设的非凸问题中，SGD 能够收敛到全局最小值，分析过程基于一个期望残差条件，相比之前的假设更加宽松。
- 一种具有动量的随机无导数优化方法
本文提出了一种基于随机零阶方法和动量的 SMTP 方法进行无约束最小化的函数优化，该方法在非凸优化、凸优化和强凸优化方程中具有新的复杂度结果，并在数值实验中测试了此方法与其它最新无导数优化算法的性能比较。
- 明智地选择你的路径：在 Bregman 距离框架中的梯度下降
本文提出将广义 Bregman 距离应用于非凸函数的梯度下降算法中，实现了从粗到细的多尺度特征引入，达到恢复优于传统梯度下降的非凸优化问题解的效果，并且在磁共振成像、盲去卷积以及神经网络图像分类等领域有广泛的应用。
- 寻找静态点的下界 I
该研究论文证明了在高维、潜在非凸函数上找到 ε- 稳态点的复杂性下界，并探讨了基于 Oracle 算法的复杂度测量方法，显示出梯度下降、三次正则化牛顿法和广义 p 次正则化在自然函数类中是最优的。
- Convex Until Proven Guilty”: 非凸函数上无维度的梯度下降加速
本研究介绍了一种新的 Nesterov 加速梯度下降法的变体，以应对光滑非凸函数的最小化问题，证明其收敛速度可以接近凸函数，在处理非凸函数方面具有优异的性能，并在此基础上提出了一种基于负曲率的证明非凸性的方法，在具有 Lipschitz 连 - 随机重球
本文研究了一种自然随机优化程序，该程序由所谓的 Heavy-ball 方法微分方程推导而来，旨在最小化凸函数，提出了随机 Heavy-ball 方法，描述了其收敛性和极限定理。
- 非凸分布式优化
该研究分析分布式非凸优化问题，针对多智能体网络模型，利用一些技术假设证明分布式推送算法在目标函数的临界点处收敛，并利用扰动动力学证明扰动过程的几乎肯定收敛性。