Sep, 2023

探索差分隐私预训练和参数高效微调在表格变换器中的优势

PDF
TL;DR我们研究了在转移学习场景中将差分隐私预训练和微调应用于 TabTransformers 的各种参数有效微调方法（包括 Adapter、LoRA 和 Prompt Tuning），并通过在 ACSIncome 数据集上进行广泛实验，证明这些方法在下游任务的准确性和可训练参数数量方面优于传统方法，从而在参数效率、隐私性和准确性之间实现了改善的权衡。
发现论文，激发创造
  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024

  • DP-TBART：用于差分隐私表格数据生成的基于 Transformer 的自回归模型

    维护差分隐私并在各种数据集上表现出与基于边际的方法相竞争的性能，甚至能够在某些情况下超越现有技术方法，我们提出了基于 Transformer 的差分隐私表格自回归模型 (DP-TBART)，并提供了理论框架来理解基于边际的方法的局限性以及深度学习方法的贡献。这些结果表明，在生成差分隐私合成表格数据中，应将基于深度学习的技术视为可行的替代方法。

    Jul, 2023

  • 探究差分隐私 Transformer

    本文研究在差分隐私情况下使用深度学习进行 Transformer 模型训练，提出了重新注意机制和幻影剪切作为解决注意力分散现象和梯度剪切问题的方法。这不仅对于训练差分隐私 Transformer 模型提供了新的思路，也推动了差分隐私深度学习领域内的模块化研究。

    May, 2024

  • DP-DyLoRA: 动态低秩适应下，基于变换器的模型在设备上进行差分隐私联邦学习时的微调

    该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性，发现全精调普遍会导致性能严重下降，但通过参数高效的精调方法能够缓解这一问题，而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。

    May, 2024

  • DP-RAFT: 加速微调的差分隐私配方

    本文介绍了一种不同 ially private fine-tuning 的方法，通过关键超参数的选择来加快训练，从而在计算机视觉和自然语言处理的基准任务中获得了新的最好表现，具有巨大的实际应用前景。

    Dec, 2022

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • DPFormer: 针对长尾数据学习差分隐私 Transformer

    本文提出了 DPFormer 模型，引入了幽灵剪辑和再关注机制以提高训练 Transformer 模型时的效率和精度，通过理论分析以及两个真实数据集的实验证明了 DPFormer 的有效性和可行性。

    May, 2023

  • 关于差分隐私微调的收敛性：线性探测还是全面微调？

    通过理论研究和实证评估，本文分析了差分隐私 fine-tuning 方法的训练动态，并探讨了顺序 fine-tuning 的现象及其对测试损失的影响，为过参数化神经网络中的差分隐私调优提供了理论洞见和隐私预算分配规则。

    Feb, 2024

  • 基础模型偏置项差分隐私微调

    提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2-30 倍和 2-8 倍，使得现有隐私保护微调方法的计算难点得以攻克。

    Sep, 2022

  • 语言模型差分隐私微调

    本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。

    Oct, 2021