Jun, 2024

MemDPT：高效内存差分隐私语言模型

PDF
TL;DR通过提出的创新训练框架 MemDPT，本文在减少大型语言模型的内存成本的同时，强调保护用户数据的隐私，通过边缘网络和反向网络设计实现了差分隐私内存高效微调方案，达到了 2 至 3 倍的内存优化，并提供了可靠的隐私保护，确保用户数据的安全和保密性。广泛的实验证明了 MemDPT 能够有效地在各种任务场景下提供差分隐私高效微调。
large language modelsuser privacymemory consumptionmemdptdifferential privacy
发现论文，激发创造
  • 用户级别差分隐私用于语言模型微调

    对自然语言生成任务中使用大型语言模型进行用户级差分隐私保护的设计选择进行系统评估，重点研究两种实现用户级差分隐私保证的机制，即群体隐私和用户级 DP-SGD，包括数据选择策略和参数调优，以实现最佳的隐私 - 效用平衡。

    Jun, 2024

  • 差分隐私语言模型受益于公共预训练

    通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

    Sep, 2020

  • 双重微调：面向大语言模型的选择性差分隐私

    本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

    Apr, 2022

  • 大型语言模型能成为强差分私有学习器

    使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

    Oct, 2021

  • 语言模型差分隐私微调

    本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。

    Oct, 2021

  • 基于高效用度度量的差分隐私文本技术

    本研究提出了一种新的方法：Truncated Exponential Mechanism（TEM），允许使用任何距离度量来对语言表示进行数据隐私转化，并在对该方法进行实证比较时发现，在保障数据隐私的同时，能够提供更大的度量选择自由度和更好的实验效用。

    Jul, 2021

  • 面向语言建模的选择性差分隐私

    本文提出了一种新的隐私保护机制 Selective-DPSGD，采用选择性差分隐私保护敏感信息，保证了语言模型和对话系统在隐私攻击下的安全性和效用性。

    Aug, 2021

  • 学习差分隐私递归语言模型

    本文提出了使用联邦平均算法实现用户级差分隐私，以及在保持较高的实用性的同时进行隐私保护的方法。通过在用户分区数据上训练深层网络并进行隐私账户记录，我们证明即使在拥有大量用户的数据集上，实现差分隐私也只会以微不足道的精度损失为代价而非减少实用性。

    Oct, 2017

  • 巨型数据集 ImageNet 规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

    Jan, 2022

  • 利用差分隐私私密微调大型语言模型

    通过使用基于 Edgeworth 会计师的有限样本隐私保证 DP 框架，我们提出了一种针对 LLM 的 DP 细调框架 ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的 LLMs 性能提高了 1.1％。

    Oct, 2022