语言模型差分隐私微调

Oct, 2021

Differentially Private Fine-tuning of Language Models

Da Yu, Saurabh Naik, Arturs Backurs, Sivakanth Gopi, Huseyin A. Inan...

TL;DR本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。

Abstract

We give simpler, sparser, and faster algorithms for differentially private fine-tuning of large-scale pre-trained language models, which achieve the state-of-the-art privacy versus utility tradeoffs on many stand

发现论文，激发创造

差分隐私语言模型受益于公共预训练

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

大型语言模型能成为强差分私有学习器

使用预训练的语言模型以及非标准化超参数和fine-tuning目标结合DP优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的DP-trained模型的NLP模型。我们还提出了一种内存节省技术来解决在大型Transformers上运行DP-SGD的计算难题，该技术可以使得clip在DP-SGD中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021

一种不适用于所有情况的方法：探究不同自然语言处理任务中差分隐私学习的策略

研究取得了基于BERT和XtremeDistil架构的神经模型，在五个典型的NLP任务中使用不同隐私保护策略在七个下游数据集上的表现，并发现每个任务和隐私方案都需要特殊处理以实现足够的性能。

Dec, 2021

大语言模型中的差分隐私解码

本文提出了一种简单易行、计算轻量化的扰动机制，保证了模型的隐私性，在不影响模型实用性的情况下，可应用于所有LLM模型，解决了LLM在隐私保护与重新训练之间的折中问题。

May, 2022

利用差分隐私私密微调大型语言模型

通过使用基于Edgeworth会计师的有限样本隐私保证DP框架，我们提出了一种针对LLM的DP细调框架ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的LLMs性能提高了1.1％。

Oct, 2022

隐私微调的有选择预训练

介绍了一种通用框架，用于解决训练文本预测模型的问题，实现用户数据的隐私保护和固定大小以满足内存和推理时间要求，主要利用区分隐私的预训练和fine-tune，优化模型交迁和达到高效压缩。

May, 2023

大型语言模型的私人微调与零阶优化

DP-ZO是一种维护训练数据隐私的方法，通过对零阶优化中步长的隐私化来对大型语言模型进行微调，可在保守的隐私预算下提供强大的隐私-效用权衡，且在SQuAD的1000个训练样本上，对OPT-66B的微调仅导致1.86%的性能降低。

Jan, 2024

通过平坦性实现大型语言模型的隐私保护微调

在我们的研究中，我们揭示了Differential Privacy（DP）技术在处理Large Language Models（LLMs）的隐私和泛化之间的权衡中，DP训练模型的损失平面的平坦程度起到了关键作用。我们进一步提出了一个全面的框架来强制执行适当的权重平坦度，从而大幅提高模型的泛化能力并保持竞争性的隐私保护。

Mar, 2024

使用用户级差分隐私对大型语言模型进行微调

利用用户级差分隐私（DP）进行训练大型语言模型（LLMs）的实用和可扩展算法研究，以可证明地保护每个用户贡献的所有示例；通过实验在固定计算预算下验证结果，发现当需要较高的隐私保证或计算预算较大时，用户级抽样和用户级梯度剪切（ULS）通常能提供更好的结果。

Jul, 2024

通过自适应噪声分配实现差分隐私的语言模型微调

本研究解决了语言模型在微调过程中面临的隐私保护不足问题。提出的ANADP算法通过根据模型参数的重要性自适应分配加性噪声，优化了差分隐私的效果。实验结果表明，ANADP在满足隐私要求的同时，缩小了常规微调与传统差分隐私微调之间的性能差距。

Oct, 2024