DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

Oct, 2023

本文提出了零阶优化的黑盒攻击方法，该方法不需要训练替代模型而直接估计目标 DNN 的梯度来生成对抗性例子，实验结果表明该攻击方法在 MNIST、CIFAR10 和 ImageNet 的数据集上与白盒攻击方法效果相当且明显优于现有的替代模型的黑盒攻击方法。

Aug, 2017

本文将 learning to learn（L2L）框架扩展到零阶（ZO）优化设置，其中没有明确的梯度信息，并将学习的优化器建模为循环神经网络（RNN），通过 ZO 梯度估算器近似梯度，并利用以前迭代的知识产生参数更新，进一步引入另一个 RNN 来学习高斯采样规则并动态指导查询方向采样。我们的学习优化器在合成和实际 ZO 优化任务中表现出优异的收敛率和最终解决方案，特别是在 Black-box Adversarial Attack 任务中。

Oct, 2019

本文提出了一种针对黑盒模型的防御式操作，通过基于降噪平滑和零阶优化的方法，将自编码器与模型结合，并在此基础上设计了 ZO-AE-DS，该方法在图像分类和重建任务上表现出更好的准确性、可靠性和查询复杂度。

Mar, 2022

深度学习的零知识证明在保护数据和模型参数的隐私的同时，通过 zkDL 方法有效实现了训练过程的证明。

Jul, 2023

本文提出了一种新的深度学习架构，用于多标签零样本学习，在这种学习中，可以为每个输入实例预测多个看不见的标签。研究人员提出了一个框架，结合了知识图谱和语义标签空间信息传播机制进行视觉推理，以解决多标签分类和 ML-ZSL 任务。与现有技术相比，该方法的性能相当或有所提高。

Nov, 2017

通过本体论知识表示和语义嵌入，以更丰富和竞争的先验知识建模 ZSL 的类间关系，并使用生成对抗网络（GANs）开发了一种生成 ZSL 框架，以解决已知类和未知类之间的数据不平衡问题。

Feb, 2021

基于 CLIP 基类分类器的无数据零样本学习方法提出了一个通用框架，该框架包含三个主要组成部分：基于 vMF 分布建模基类数据的虚拟特征恢复、特征 - 语言输入调整以进一步对齐虚拟图像特征和文本特征、使用对齐后的特征训练条件生成模型，可以生成新类别的特征并实现更好的零样本泛化。在常用的五个广义 ZSL 基准和 11 个基类到新类别 ZSL 基准上进行了评估，结果显示了该方法的优越性和有效性。

Jan, 2024

本论文针对零样本学习任务中多模态的问题，提出了一种基于知识图谱和密集注意力模块的多模态零样本学习框架，实现了对实体更具差异化的语义迁移过程和精细化的知识获取。

Jun, 2023

本文综述了零阶优化的方法，重点介绍了其优化思想、原则以及近年来的收敛分析进展。此外还介绍了零阶优化的一些应用，例如评估深度学习模型的鲁棒性、生成黑盒模型的解释以及在线传感器管理等。

Jun, 2020