DPFormer: 针对长尾数据学习差分隐私 Transformer
本文研究在差分隐私情况下使用深度学习进行 Transformer 模型训练，提出了重新注意机制和幻影剪切作为解决注意力分散现象和梯度剪切问题的方法。这不仅对于训练差分隐私 Transformer 模型提供了新的思路，也推动了差分隐私深度学习领域内的模块化研究。
May, 2024
使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。
Oct, 2021
我们研究了在转移学习场景中将差分隐私预训练和微调应用于 TabTransformers 的各种参数有效微调方法（包括 Adapter、LoRA 和 Prompt Tuning），并通过在 ACSIncome 数据集上进行广泛实验，证明这些方法在下游任务的准确性和可训练参数数量方面优于传统方法，从而在参数效率、隐私性和准确性之间实现了改善的权衡。
Sep, 2023
该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性，发现全精调普遍会导致性能严重下降，但通过参数高效的精调方法能够缓解这一问题，而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。
May, 2024
本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。
Apr, 2022
本研究研究了隐私保护机制对健康医疗领域数据挖掘和机器学习的影响和局限性，旨在通过使用最新的差分隐私数据挖掘算法来训练隐私保护的模型，并对这些模型进行全面的实证研究。该研究还探讨了隐私保护学习在医疗保健中的好处和成本。
Oct, 2020
利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。
Sep, 2023
通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。
Feb, 2024
新论文提出了在自动语音识别中利用差分隐私实现联邦学习的模型，该模型通过对大型端到端变换器模型的架构设计、种子模型、数据异构性、领域转换和队友规模的影响等因素进行研究，实现了几乎最佳的联邦学习模型，同时应用差分隐私还能在用户级别保护用户隐私。
Sep, 2023
通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。
May, 2023