DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

Oct, 2023

本文将 learning to learn（L2L）框架扩展到零阶（ZO）优化设置，其中没有明确的梯度信息，并将学习的优化器建模为循环神经网络（RNN），通过 ZO 梯度估算器近似梯度，并利用以前迭代的知识产生参数更新，进一步引入另一个 RNN 来学习高斯采样规则并动态指导查询方向采样。我们的学习优化器在合成和实际 ZO 优化任务中表现出优异的收敛率和最终解决方案，特别是在 Black-box Adversarial Attack 任务中。

Oct, 2019

本文提出了一种基于损失函数的零阶优化算法（ZO-SVRG）以及相应的快速收敛的优化方法，即方差减少，用于解决应用中需要零阶优化的挑战，可用于黑盒物质分类和黑盒深度神经网络模型生成对抗性示例。我们的理论分析揭示了 ZO-SVRG 的本质难点，并提出了两种利用方差减少的梯度估计器的加速版本 ZO-SVRG，其在 ZO 随机优化（迭代次数）方面具有已知的最佳速度。与当前其他最先进的 ZO 算法相比，我们的方法在功能查询复杂性和收敛速率之间取得了平衡。

May, 2018

该论文介绍了一种名为 ZORO 的方法，用于零阶、正则化优化问题，并证明了在凸设置下，其收敛速度仅对问题维度对数相关。

Mar, 2020

本文提出了一个基于 Hessian 矩阵的零阶优化算法 ZO-HessAware，用于黑盒对抗攻击，该算法的实验证明在结构化 Hessian 逼近的情况下，具有更好的零阶收敛率和查询复杂度。

Dec, 2018

本研究通过将稀疏性和量化技术整合到零阶优化（ZO）细调的大型语言模型（LLM）中，从而解决在内存受限环境（如移动电话和笔记本电脑）中使用 ZO 细调的挑战。研究结果表明，使用 ZO 对 LLM 进行 0.1% 敏感参数细调能优于全面细调，并同时提供加速的速度。此外，结合 4 位量化技术，ZO 对 Llama2-7B 模型的高效细调在 GPU 设备上不到 8 GB 内存的限制下实现了显著降低的延迟。

Jun, 2024

本文探讨了利用仅包含部分和嘈杂信息的凸函数最小化问题，特别着重于高度平滑问题的凸优化问题，包括逻辑回归等。研究表明，相对于基于梯度的算法，高阶平滑性可用于改善估计速率，并精确地依赖于平滑度的程度，同时提出了此类算法可行性的上限。最后，作者还在在线优化设置中取得了类似的结果。

May, 2016

本研究旨在提出一种采用零阶优化的方法，以减少在大规模语言模型训练中由反向传播算法所引起的显著内存开销，从而实现内存更高效的模型微调。

Feb, 2024

本文介绍了两种零阶随机算法的优化和改进，其中一种通过新的 ZO-SVRG-Coord-Rand 算法和分析结果发现，比现有的同类算法以及 ZO-GD 和 ZO-SGD 更为优秀，另一种通过新的 ZO-SPIDER-Coord 算法有效降低了 Gaussian 随机变量的数量和步长的级别以实现相同的收敛速度和查询复杂度，并且自动实现了线性收敛率。

Oct, 2019

本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

Jan, 2022