提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2-30 倍和 2-8 倍，使得现有隐私保护微调方法的计算难点得以攻克。

Sep, 2022

本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。

Feb, 2022

通过使用基于 Edgeworth 会计师的有限样本隐私保证 DP 框架，我们提出了一种针对 LLM 的 DP 细调框架 ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的 LLMs 性能提高了 1.1％。

Oct, 2022

我们研究了在转移学习场景中将差分隐私预训练和微调应用于 TabTransformers 的各种参数有效微调方法（包括 Adapter、LoRA 和 Prompt Tuning），并通过在 ACSIncome 数据集上进行广泛实验，证明这些方法在下游任务的准确性和可训练参数数量方面优于传统方法，从而在参数效率、隐私性和准确性之间实现了改善的权衡。

Sep, 2023

本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

Apr, 2022

在我们的研究中，我们揭示了 Differential Privacy（DP）技术在处理 Large Language Models（LLMs）的隐私和泛化之间的权衡中，DP 训练模型的损失平面的平坦程度起到了关键作用。我们进一步提出了一个全面的框架来强制执行适当的权重平坦度，从而大幅提高模型的泛化能力并保持竞争性的隐私保护。

Mar, 2024

本文介绍了一种不同 ially private fine-tuning 的方法，通过关键超参数的选择来加快训练，从而在计算机视觉和自然语言处理的基准任务中获得了新的最好表现，具有巨大的实际应用前景。

Dec, 2022

通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

Feb, 2024

使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021

在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

Jun, 2024