差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

Jun, 2024

在大型嵌入模型应用的推动下，我们研究了带有个体梯度稀疏性的差分隐私（DP）优化问题，我们得到了经典均值估计问题的新近最优界限，但这是在稀疏数据情况下，改进了先前的算法，特别是在高维情况下。在此基础上，我们提出了几乎最优的 DP 算法和近似 DP 算法，用于具有稀疏梯度的随机凸优化问题；前者首次提供了几乎与维度无关的速率。最后，我们研究了近似 DP 优化中经验损失的稳定点近似，并得到了依赖于稀疏性而非维度的速率，除了对数因子。

Apr, 2024

本文提出一种名为 DP-FedEmb 的联邦学习算法改进版本，用于训练大规模图像到嵌入特征提取器模型，包含虚拟客户端、部分聚合、私有本地微调和公共预训练等技术，能在相同的隐私预算下实现强隐私效用平衡，并且在 DigiFace、EMNIST、GLD 和 iNaturalist 数据集上展示了其卓越的效用性能。

Nov, 2022

本文提出了 DP-SGD-JL 和 DP-Adam-JL，使用 Johnson-Lindenstrauss 投影来快速逼近每个样本的梯度范数，从而使优化器的训练时间和内存需求接近于其非 DP 版本，在 IMDb 数据集上实现了好的隐私与准确性折衷，并且隐私分析使用 Dong 等人提出的 f-DP 框架来证明。

Feb, 2021

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021

研究取得了基于 BERT 和 XtremeDistil 架构的神经模型，在五个典型的 NLP 任务中使用不同隐私保护策略在七个下游数据集上的表现，并发现每个任务和隐私方案都需要特殊处理以实现足够的性能。

Dec, 2021

本文提出了一种算法 Gradient Embedding Perturbation（GEP），针对训练深度学习模型时巨大的可训练参数导致 Differential Privacy（DP）机制失效的问题，通过将个体私有梯度投影到非敏感锚定子空间，并将低维梯度嵌入和小范数残差梯度分别按照隐私预算扰动，以使扰动方差保持小，从而在保持合理隐私保障的同时，实现了高精度的训练（特别是在 CIFAR10 和 SVHN 数据集上）达到了 74.9% 和 95.1% 的测试精度）。

Feb, 2021

本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

Jun, 2023

通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。

Apr, 2023