本文提出了一种基于损失函数的零阶优化算法（ZO-SVRG）以及相应的快速收敛的优化方法，即方差减少，用于解决应用中需要零阶优化的挑战，可用于黑盒物质分类和黑盒深度神经网络模型生成对抗性示例。我们的理论分析揭示了 ZO-SVRG 的本质难点，并提出了两种利用方差减少的梯度估计器的加速版本 ZO-SVRG，其在 ZO 随机优化（迭代次数）方面具有已知的最佳速度。与当前其他最先进的 ZO 算法相比，我们的方法在功能查询复杂性和收敛速率之间取得了平衡。

May, 2018

本文提出了两种新的零阶近端随机优化算法 ZO-ProxSVRG 和 ZO-ProxSAGA，它们利用了 SVRG 和 SAGA 的方差缩减技术，并证明了它们具有线性 $O (rac {1}{T})$ 的收敛速度，实验结果表明相比于现有的零阶近端随机算法，新算法有更快的收敛速度。

Feb, 2019

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018

本文提出了一种新的零阶方差约减梯度上升 / 下降算法来解决机器学习中的零阶 minimax 最小化问题， 并通过实验结果证明其性能优越。

Jun, 2020

本文介绍了一种新的随机逼近方法 —— 随机梯度下降算法，用于解决非线性随机规划问题，并证明了该算法的复杂度和优化收敛速度，指出该算法在问题为凸问题时具有接近最优的收敛速度，同时优化了其大偏差特性，特别针对只有随机零阶信息可用的类模拟优化问题进行了改进。

Sep, 2013

ZeroSARAH 是一种新的方差减少方法，用于分布式学习中处理大量非凸函数的平均值，可以在不需要计算全梯度的情况下实现，并在标准和分布式设置下取得新的最优结果。

Mar, 2021

本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

Mar, 2016

本文提出了一种使用方差缩减的异步双随机零阶优化算法 (AsyDSZOVR)，应用于光滑但不一定是凸函数的有限和问题，证明了该算法将收敛速度从 O（1 /√T）提高到了 O（1 / T），优于现有算法的最佳结果，并且也超越了顺序随机零阶优化算法的理论结果。

Dec, 2016

本文提出了一种加速的随机零阶 Frank-Wolfe 优化算法，通过使用 SPIDER/SpiderBoost 技术和一种新的动量加速技术，它可以在非凸优化中实现 O (d√nε⁻²) 的函数查询复杂度，并改进了现有最佳结果，同时在随机问题中实现了 O (dε⁻³) 的函数查询复杂度，同时提出了基于 STORM 的 Acc-SZOFW *，它不需要大批量也可以达到与 Acc-SZOFW 相同的函数查询复杂度。

Jul, 2020

该研究使用改进的 SVRG 算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性 SVRG 算法的方法。

May, 2019