大型语言模型能成为强差分私有学习器

Oct, 2021

大型语言模型能成为强差分私有学习器

Large Language Models Can Be Strong Differentially Private Learners

Xuechen Li, Florian Tramèr, Percy Liang, Tatsunori Hashimoto

TL;DR使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Abstract

Differentially Private (DP) learning has seen limited success for building large deep learning models of text, and straightforward attempts at applying Differentially Private Stochastic Gradient Descent (dp-sgd) to nlp

differentially private learning pretrained language models dp-sgd nlp tasks memory saving technique

发现论文，激发创造

一种不适用于所有情况的方法：探究不同自然语言处理任务中差分隐私学习的策略

研究取得了基于 BERT 和 XtremeDistil 架构的神经模型，在五个典型的 NLP 任务中使用不同隐私保护策略在七个下游数据集上的表现，并发现每个任务和隐私方案都需要特殊处理以实现足够的性能。

Dec, 2021

差分隐私语言模型受益于公共预训练

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

私隐差分深度学习的高效可扩展训练

差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

Jun, 2024

DP-NMT：可扩展的差分隐私机器翻译

DP-NMT 是一个开源框架，旨在提供一个平台给研究人员以 DP-SGD 算法为基础开发隐私保护的神经机器翻译系统，通过整合多种模型、数据集和评估指标，解决了目前存在的 DP-SGD 实现细节不清晰、代码不透明和可复现性不足的问题。

Nov, 2023

双重微调：面向大语言模型的选择性差分隐私

本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

Apr, 2022

LMO-DP: 为巨型语言模型优化差分隐私微调的随机化机制

通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在 SST-2 数据集上，对具有 300M 参数的 RoBERTa-large 进行微调可以实现 92.20% 的准确率（给定 ε=0.3，δ=10^-10），类似的结果也在 GPT-2 的文本生成任务中发现。此外，基于我们的了解，LMO-DP 是第一个具有良好差分隐私保证的准确微调 Llama-2 的解决方案。

May, 2024

大型语言模型的私人微调与零阶优化

DP-ZO 是一种维护训练数据隐私的方法，通过对零阶优化中步长的隐私化来对大型语言模型进行微调，可在保守的隐私预算下提供强大的隐私 - 效用权衡，且在 SQuAD 的 1000 个训练样本上，对 OPT-66B 的微调仅导致 1.86% 的性能降低。

Jan, 2024

差分隐私自然语言模型：最新进展与未来方向

该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私，差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

Jan, 2023

在低成本下对大型模型进行差分隐私优化

本文提出了一种新的 Book-Keeping（BK）技术，用于实现现有的 DP 优化器，以降低计算成本，并在视觉和语言任务方面进行广泛实验，取得了 SOTA 精度。

Sep, 2022

通过平坦性实现大型语言模型的隐私保护微调

在我们的研究中，我们揭示了 Differential Privacy（DP）技术在处理 Large Language Models（LLMs）的隐私和泛化之间的权衡中，DP 训练模型的损失平面的平坦程度起到了关键作用。我们进一步提出了一个全面的框架来强制执行适当的权重平坦度，从而大幅提高模型的泛化能力并保持竞争性的隐私保护。

Mar, 2024