自适应剪裁差分隐私学习
在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。
Dec, 2018
本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。
Jun, 2020
本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长;我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了ADP方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括AdaGrad（Duchi等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。
Oct, 2021
本文探讨了确保差分隐私的两个算法DP-SGD和DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了DP-NSGD的正则化因子如何控制偏差和噪声的平衡。
Jun, 2022
本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法（DP-PSAC），通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证，我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差，其算法效果优于同领域的相关工作NSGD/Auto-S。
Dec, 2022
通过将剪切阈值视为可学习参数，我们提出了一种新的方法来动态优化差分隐私机器学习模型的训练过程，从而在不牺牲整体隐私分析的情况下，在各种评估场景中展现出与传统方法相媲美甚至更好的性能。
Oct, 2023
通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。
Oct, 2023
本研究针对传统差分隐私技术在梯度处理上对模型准确性的影响，提出了一种新方法DP-PSASC，通过非单调自适应缩放梯度替换传统的剪切，改善了对小梯度的重 weighting。研究表明，该方法在保持隐私保护的同时，提高了模型在多种数据集上的性能，具有较大的应用潜力。
Nov, 2024