本文提出了一种基于高斯过程（GP）和利用梯度信息的多层次收获函数的 FOBO 算法，该算法在机器学习中的应用并验证结果优于现有的方法。
Jun, 2023
我们提出了一种在参数服务器框架中实现梯度压缩的分布式随机梯度下降（SGD）的新算法。我们的梯度压缩技术名为压平一位随机梯度下降（FO-SGD），它依赖于两个简单的算法思想：（i）利用抖动技术的一位量化过程，和（ii）在量化之前使用随机快速 Walsh-Hadamard 变换来压平随机梯度。因此，在该方案中，真实梯度的近似是有偏的，但它避免了常见的算法问题，如在一位压缩制度下方差激增、在梯度稀疏情况下性能恶化和对随机梯度分布的限制性假设。实际上，我们证明了在温和条件下类似于 SGD 的收敛性保证。该压缩技术可在工作机 - 服务器通信的双向上使用，因此支持具有完整通信压缩的分布式优化。
May, 2024
提出了一种新的框架用抽象的预言家代替了具体的梯度估计方法，并统一了以前的工作，同时表明为了实现最优的根号 - n 速率，这种方法还需要进一步的研究。
Sep, 2016
本文解释了一种新的分析梯度下降算法的理论方法，通过将多粒子无导数优化方法（CBO）解释为梯度下降的随机松弛，证明了 CBO 在对大量非光滑和非凸的目标函数具有成为全局最小化器的全局收敛性
本文介绍了一种无需正负数计算和传输的随机梯度下降方法，使用了压缩过的一位元梯度，通过一种基于随机梯度下降的近端梯度方法来证明该方法在非凸优化方面的理论收敛性，实验证明这种可以压缩的方法可以达到未压缩方法相近的收敛速度。
Jul, 2018
本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域，如随机优化，概率图形模型推理以及优化的机器学习等。
Jun, 2021
该研究介绍了一种局部一阶平滑性 oracle（LFSO），可以用于调整梯度下降方法的步长，从而改善全局和局部收敛性。通过应用 LFSO 于修正的一阶方法，可以在非强凸问题中实现全局线性收敛速度，从而提高了一般（加速）一阶方法的收敛率下界。
Nov, 2023
该论文介绍了一种名为 ZORO 的方法，用于零阶、正则化优化问题，并证明了在凸设置下，其收敛速度仅对问题维度对数相关。
Mar, 2020
通过比较查询来优化光滑函数的最佳方法，无需求导方法和梯度计算。
本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。
Oct, 2017