本文介绍了两种零阶随机算法的优化和改进，其中一种通过新的 ZO-SVRG-Coord-Rand 算法和分析结果发现，比现有的同类算法以及 ZO-GD 和 ZO-SGD 更为优秀，另一种通过新的 ZO-SPIDER-Coord 算法有效降低了 Gaussian 随机变量的数量和步长的级别以实现相同的收敛速度和查询复杂度，并且自动实现了线性收敛率。

Oct, 2019

提出了一种新的随机一阶算法框架来解决随机复合非凸优化问题，该算法覆盖了有限和期望设置，其中算法仅需要非凸目标项的平均光滑性假设和附加的有界方差假设，并证明了算法可以实现最佳复杂度界限。

Feb, 2019

本研究开发了一种基于 Azuma-Hoeffding 类型边界的新的无维度维数的 martingale 差异序列的累加范数，利用这一结果，我们为所提出的 Prob-SARAH 算法中的梯度范数估计器提供了高概率边界，该算法是 StochAstic Recursive grAdient algoritHm（SARAH）的改进版本，它是一种具有最优计算复杂性的方差减小算法，用于有限和问题的期望。Prob-SARAH 的概率复杂性与最佳期望结果相匹配，并且经验实验表明 Prob-SARAH 在真实数据集上相对于其他流行算法具有更优异的概率性能。

Jan, 2024

该论文提出了改进的 SARAH 算法并证明其最劣情况复杂性与通常常数因子内与阈值相关，用于求解随机一阶优化算法的无限和光滑非凸目标函数，同时提出 SARAH++ 算法，并在各种数据集上进行数值实验以验证其实用性。

Jan, 2019

本文研究分析了随机递归梯度算法 (StochAstic Recursive grAdient algoritHm, SARAH) 的 mini-batch 版本，用于解决非凸损失函数的经验损失最小化问题。我们提出了一种子线性收敛率 (对于一般非凸函数) 和一种线性收敛率 (对于梯度主导函数)，这两种方法相比其他现代非凸损失随机梯度算法具有一些优势。

May, 2017

本文提出了一种名为 SARAH 的随机递归梯度算法及其改进版 SARAH +，以优化有限累加和问题，并证明了该算法在强凸情况下具有线性收敛速率。

Mar, 2017

本文提出了一种基于损失函数的零阶优化算法（ZO-SVRG）以及相应的快速收敛的优化方法，即方差减少，用于解决应用中需要零阶优化的挑战，可用于黑盒物质分类和黑盒深度神经网络模型生成对抗性示例。我们的理论分析揭示了 ZO-SVRG 的本质难点，并提出了两种利用方差减少的梯度估计器的加速版本 ZO-SVRG，其在 ZO 随机优化（迭代次数）方面具有已知的最佳速度。与当前其他最先进的 ZO 算法相比，我们的方法在功能查询复杂性和收敛速率之间取得了平衡。

May, 2018

提出了一种新的混合方差缩减近端梯度法，它使用随机梯度评估来代替早期方法中的 $SARAH$，从而实现每次迭代少使用一个随机梯度，在达到了随机梯度评估的最优随机预测复杂度界限的同时很简单。

Aug, 2020

本文提出了一种新的零阶方差约减梯度上升 / 下降算法来解决机器学习中的零阶 minimax 最小化问题， 并通过实验结果证明其性能优越。

Jun, 2020

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018