本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

Jul, 2016

在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

Dec, 2018

提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

Apr, 2019

本文研究了深度学习中隐私方面的问题，提出了一种新的隐私定义——f-差分隐私，并利用其可处理复合和子采样的性质，推导出了一种更简单的隐私分析方法。在图像分类、文本分类和推荐系统等任务中的实验结果表明，该方法可以在保证隐私的前提下提高神经网络的预测准确率。

Nov, 2019

本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

Jun, 2020

本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

Oct, 2021

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了dropout和l2正则化作为较优秀的隐私保护方法。

Sep, 2022

本研究提出了一种方案，用于单次训练运行的差分隐私机器学习系统的审计，利用了可以独立添加或删除多个训练样例的并行性，该审计方案利用差分隐私和统计泛化之间的联系进行分析，避免了群体隐私成本，而且对算法需求的假设极少，可在黑盒或白盒设置中应用。

May, 2023

差分隐私已成为机器学习中广受欢迎的数据保护方法，尤其是因为它允许提供严格的数学隐私保证。本文综述了差分隐私集中深度学习的现状，对最近的进展和开放问题进行了深入分析，并讨论了该领域未来的可能发展。通过系统的文献综述，涵盖了以下主题：针对隐私模型的审计和评估方法，提高隐私与效用之间的权衡，防范各种威胁和攻击，差分隐私生成模型以及新兴应用领域。

Sep, 2023

基于凸松弛的框架可以计算形式化的保证（证书），以满足特定预测的 ε=0 隐私保证，或者不依赖于可撤销请求的数据。验证为中心的隐私与撤销保证可用于增加用户信任度，提供针对某些成员推理攻击的鲁棒性的形式化证明，确定可能容易受攻击的记录，并增强当前的撤销方法。

Jun, 2024