该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法,它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题,并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。
May, 2019
本文研究深度学习中涉及到隐私保护的问题,探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用,并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。
Jun, 2020
本研究探讨了差分隐私凸优化中的自适应算法,通过实现不同差分隐私变量Stochastic Gradient Descent(SGD)算法和Adagrad算法的私有版本,证明了我们的私有版本的Adagrad优于自适应SGD,而这又优于传统的SGD。我们提供了两种算法的后悔上界,并表明这些上限是最优的。
Jun, 2021
本文提出了动态DP-SGD算法,通过动态调整剪裁阈值和噪声幅度来降低性能损失,同时保持隐私,从而显著提高了模型的准确性。
Oct, 2021
本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法(DP-PSAC),通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证,我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差,其算法效果优于同领域的相关工作NSGD/Auto-S。
Dec, 2022
通过将剪切阈值视为可学习参数,我们提出了一种新的方法来动态优化差分隐私机器学习模型的训练过程,从而在不牺牲整体隐私分析的情况下,在各种评估场景中展现出与传统方法相媲美甚至更好的性能。
Oct, 2023
通过利用当前全局模型及其在搜索域中的位置的公共信息,我们提出了一种新方法来缓解传统梯度剪裁带来的偏差,从而实现了改进的梯度界限,进一步确定了灵敏度并调整了噪声水平,提供更好的差异性隐私保证,并进行了实证评估。
我们提出了一种新的误差反馈(EF)DP算法作为DPSGD-GC的替代方案,它不仅提供了逐渐减小的效用界限而且不引入恒定的剪裁偏差,更重要的是,它允许独立于问题进行剪裁阈值的任意选择。
Nov, 2023
本文研究了在预测性场景下剪裁随机梯度下降(SGD)算法的收敛性质,分析了其可能产生的偏差放大现象,并提出了两种解决方案和相应的实验验证。
Apr, 2024
本研究针对传统差分隐私技术在梯度处理上对模型准确性的影响,提出了一种新方法DP-PSASC,通过非单调自适应缩放梯度替换传统的剪切,改善了对小梯度的重 weighting。研究表明,该方法在保持隐私保护的同时,提高了模型在多种数据集上的性能,具有较大的应用潜力。
Nov, 2024