Oct, 2023

DeepZero：扩展零阶优化以提升深度模型训练

PDF
TL;DRDeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。
zeroth-order optimizationmachine learningdeep neural networkscoordinate-wise gradient estimationsparsity-induced zo training protocol
发现论文，激发创造
  • ZOO: 无需训练替代模型的基于零阶优化的黑盒攻击深度神经网络

    本文提出了零阶优化的黑盒攻击方法，该方法不需要训练替代模型而直接估计目标 DNN 的梯度来生成对抗性例子，实验结果表明该攻击方法在 MNIST、CIFAR10 和 ImageNet 的数据集上与白盒攻击方法效果相当且明显优于现有的替代模型的黑盒攻击方法。

    Aug, 2017

  • 零阶 Oracle 学习到学习

    本文将 learning to learn（L2L）框架扩展到零阶（ZO）优化设置，其中没有明确的梯度信息，并将学习的优化器建模为循环神经网络（RNN），通过 ZO 梯度估算器近似梯度，并利用以前迭代的知识产生参数更新，进一步引入另一个 RNN 来学习高斯采样规则并动态指导查询方向采样。我们的学习优化器在合成和实际 ZO 优化任务中表现出优异的收敛率和最终解决方案，特别是在 Black-box Adversarial Attack 任务中。

    Oct, 2019

  • 信号处理和机器学习中零阶优化入门

    本文综述了零阶优化的方法，重点介绍了其优化思想、原则以及近年来的收敛分析进展。此外还介绍了零阶优化的一些应用，例如评估深度学习模型的鲁棒性、生成黑盒模型的解释以及在线传感器管理等。

    Jun, 2020

  • 零阶极度稀疏 LLMs 的微调

    本研究通过将稀疏性和量化技术整合到零阶优化（ZO）细调的大型语言模型（LLM）中，从而解决在内存受限环境（如移动电话和笔记本电脑）中使用 ZO 细调的挑战。研究结果表明，使用 ZO 对 LLM 进行 0.1% 敏感参数细调能优于全面细调，并同时提供加速的速度。此外，结合 4 位量化技术，ZO 对 Llama2-7B 模型的高效细调在 GPU 设备上不到 8 GB 内存的限制下实现了显著降低的延迟。

    Jun, 2024

  • 如何提高黑盒机器学习模型的鲁棒性？零阶优化视角

    本文提出了一种针对黑盒模型的防御式操作，通过基于降噪平滑和零阶优化的方法，将自编码器与模型结合，并在此基础上设计了 ZO-AE-DS，该方法在图像分类和重建任务上表现出更好的准确性、可靠性和查询复杂度。

    Mar, 2022

  • DPZero: 无维度限制和差分隐私的零阶优化

    通过零阶方法进行微调预训练语言模型，以解决精调大型语言模型在内存和隐私方面面临的挑战。DPZero 是一个新的具有几乎维度无关率的差分隐私零阶算法，对于实际中的语言模型部署具有高度实用性。

    Oct, 2023

  • 重新考虑用于内存高效 LLM 微调的零阶优化：基准测试

    本研究旨在提出一种采用零阶优化的方法，以减少在大规模语言模型训练中由反向传播算法所引起的显著内存开销，从而实现内存更高效的模型微调。

    Feb, 2024

  • 差分隐私下的零冗余分布式学习

    使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。

    Nov, 2023

  • 通过零阶自然梯度下降实现查询有效的黑盒对手

    本文提出了零阶自然梯度下降（ZO-NGD）方法，以设计对抗性攻击，通过采用零阶梯度估计技术和二阶自然梯度下降方法，在黑盒攻击场景中提高查询效率，并在图像分类数据集上进行实证评估，证明 ZO-NGD 相对于现有攻击方法可以获得显著的模型查询复杂度降低。

    Feb, 2020

  • 大型语言模型的私人微调与零阶优化

    DP-ZO 是一种维护训练数据隐私的方法，通过对零阶优化中步长的隐私化来对大型语言模型进行微调，可在保守的隐私预算下提供强大的隐私 - 效用权衡，且在 SQuAD 的 1000 个训练样本上，对 OPT-66B 的微调仅导致 1.86% 的性能降低。

    Jan, 2024