本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

Jun, 2020

本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。

Jun, 2020

本文提出了动态DP-SGD算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

本文探讨了确保差分隐私的两个算法DP-SGD和DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了DP-NSGD的正则化因子如何控制偏差和噪声的平衡。

Jun, 2022

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了dropout和l2正则化作为较优秀的隐私保护方法。

Sep, 2022

本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

May, 2023

本文发展了一种新的DP-SGD分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

我们提出了一种新的误差反馈（EF）DP算法作为DPSGD-GC的替代方案，它不仅提供了逐渐减小的效用界限而且不引入恒定的剪裁偏差，更重要的是，它允许独立于问题进行剪裁阈值的任意选择。

Nov, 2023

对于最常用的DP-SGD变体，即通过循环替换方式采样批次、进行梯度裁剪并仅发布最后一个DP-SGD迭代，我们在不假设凸性、平滑性或Lipschitz连续性的损失函数的情况下，建立了新的Rényi差分隐私（RDP）界限，假设DP-SGD的步长相对于损失函数中的拓扑常数较小，且损失函数是弱凸的。此外，当目标函数的弱凸参数趋近于零时，我们的界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，我们提供了一种随着DP-SGD迭代次数的扩展良好的界限。

Jul, 2024

本研究针对传统差分隐私技术在梯度处理上对模型准确性的影响，提出了一种新方法DP-PSASC，通过非单调自适应缩放梯度替换传统的剪切，改善了对小梯度的重 weighting。研究表明，该方法在保持隐私保护的同时，提高了模型在多种数据集上的性能，具有较大的应用潜力。

Nov, 2024