DPZero: 无维度限制和差分隐私的零阶优化

Oct, 2023

DPZero: 无维度限制和差分隐私的零阶优化

DPZero: Dimension-Independent and Differentially Private Zeroth-Order Optimization

Liang Zhang, Kiran Koshy Thekumparampil, Sewoong Oh, Niao He

TL;DR通过零阶方法进行微调预训练语言模型，以解决精调大型语言模型在内存和隐私方面面临的挑战。DPZero 是一个新的具有几乎维度无关率的差分隐私零阶算法，对于实际中的语言模型部署具有高度实用性。

Abstract

The widespread practice of fine-tuning pretrained large language models (LLMs) on domain-specific data faces two major challenges in memory and privacy. First, as the size of LLMs continue to grow, encompassing b

fine-tuning pretrained language models privacy zeroth-order methods dimension-independent rates

发现论文，激发创造

规模化大型语言模型微调的差分隐私零阶方法

本文研究了差分隐私零阶方法在预训练语言模型中的潜力，通过近似梯度避免了 SGD 的可扩展性瓶颈，并提出了动态调度超参数的阶段性差分隐私零阶方法和减少可训练参数的数据无关剪枝技术，从理论和实证分析了这两种方法的效果。

Feb, 2024

大型语言模型的私人微调与零阶优化

DP-ZO 是一种维护训练数据隐私的方法，通过对零阶优化中步长的隐私化来对大型语言模型进行微调，可在保守的隐私预算下提供强大的隐私 - 效用权衡，且在 SQuAD 的 1000 个训练样本上，对 OPT-66B 的微调仅导致 1.86% 的性能降低。

Jan, 2024

重新考虑用于内存高效 LLM 微调的零阶优化：基准测试

本研究旨在提出一种采用零阶优化的方法，以减少在大规模语言模型训练中由反向传播算法所引起的显著内存开销，从而实现内存更高效的模型微调。

Feb, 2024

差分隐私下的零冗余分布式学习

使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。

Nov, 2023

零阶极度稀疏 LLMs 的微调

本研究通过将稀疏性和量化技术整合到零阶优化（ZO）细调的大型语言模型（LLM）中，从而解决在内存受限环境（如移动电话和笔记本电脑）中使用 ZO 细调的挑战。研究结果表明，使用 ZO 对 LLM 进行 0.1% 敏感参数细调能优于全面细调，并同时提供加速的速度。此外，结合 4 位量化技术，ZO 对 Llama2-7B 模型的高效细调在 GPU 设备上不到 8 GB 内存的限制下实现了显著降低的延迟。

Jun, 2024

LLM 模型的无痛二阶微调：基于黑塞矩阵的零阶优化器

使用对角度黑塞矩阵增强零阶优化算法以提高大型语言模型的微调效果，显著减少训练步骤并有效增强模型准确性。

Feb, 2024

通过平坦性实现大型语言模型的隐私保护微调

在我们的研究中，我们揭示了 Differential Privacy（DP）技术在处理 Large Language Models（LLMs）的隐私和泛化之间的权衡中，DP 训练模型的损失平面的平坦程度起到了关键作用。我们进一步提出了一个全面的框架来强制执行适当的权重平坦度，从而大幅提高模型的泛化能力并保持竞争性的隐私保护。

Mar, 2024

LMO-DP: 为巨型语言模型优化差分隐私微调的随机化机制

通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在 SST-2 数据集上，对具有 300M 参数的 RoBERTa-large 进行微调可以实现 92.20% 的准确率（给定 ε=0.3，δ=10^-10），类似的结果也在 GPT-2 的文本生成任务中发现。此外，基于我们的了解，LMO-DP 是第一个具有良好差分隐私保证的准确微调 Llama-2 的解决方案。

May, 2024

DeepZero：扩展零阶优化以提升深度模型训练

DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

Oct, 2023

利用仅前向传递微调语言模型

本篇论文提出了一种名为 MeZO 的零阶优化方法，以替代反向传播法来进行大规模语言模型的微调，从而实现与推理阶段相同的内存占用，该方法在理论上被认为优化大型模型的速度极慢，但本研究的实验结果表明，MeZO 能够使用少至单个 A100 80GB GPU 就能训练出具有几十亿甚至数百亿参数规模的语言模型，并在多个下游任务上与反向传播微调的性能相当。

May, 2023