ICMLMay, 2024

探究差分隐私 Transformer

PDF
TL;DR本文研究在差分隐私情况下使用深度学习进行 Transformer 模型训练，提出了重新注意机制和幻影剪切作为解决注意力分散现象和梯度剪切问题的方法。这不仅对于训练差分隐私 Transformer 模型提供了新的思路，也推动了差分隐私深度学习领域内的模块化研究。
deep learningdifferential privacytransformer modelsre-attention mechanismphantom clipping
发现论文，激发创造
  • DPFormer: 针对长尾数据学习差分隐私 Transformer

    本文提出了 DPFormer 模型，引入了幽灵剪辑和再关注机制以提高训练 Transformer 模型时的效率和精度，通过理论分析以及两个真实数据集的实验证明了 DPFormer 的有效性和可行性。

    May, 2023

  • 巨型数据集 ImageNet 规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

    Jan, 2022

  • 差分隐私深度生成模型的统一视角

    利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

    Sep, 2023

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 差分隐私自然语言模型：最新进展与未来方向

    该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

    Jan, 2023

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • 大型语言模型能成为强差分私有学习器

    使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

    Oct, 2021

  • 差分隐私对模型准确性影响不一

    本文研究的 DP-SGD 算法在训练神经网络时，由于梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，使 DP-SGD 算法不适用于存在不平衡类别数据的训练任务。

    May, 2019

  • 探索差分隐私预训练和参数高效微调在表格变换器中的优势

    我们研究了在转移学习场景中将差分隐私预训练和微调应用于 TabTransformers 的各种参数有效微调方法（包括 Adapter、LoRA 和 Prompt Tuning），并通过在 ACSIncome 数据集上进行广泛实验，证明这些方法在下游任务的准确性和可训练参数数量方面优于传统方法，从而在参数效率、隐私性和准确性之间实现了改善的权衡。

    Sep, 2023

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016