带权重剪枝的 DP-SGD
本文研究深度学习中涉及到隐私保护的问题,探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用,并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。
Jun, 2020
通过将剪切阈值视为可学习参数,我们提出了一种新的方法来动态优化差分隐私机器学习模型的训练过程,从而在不牺牲整体隐私分析的情况下,在各种评估场景中展现出与传统方法相媲美甚至更好的性能。
Oct, 2023
本文探讨了确保差分隐私的两个算法 DP-SGD 和 DP-NSGD,并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度,同时介绍了 DP-NSGD 的正则化因子如何控制偏差和噪声的平衡。
Jun, 2022
本文介绍利用限制 Lipschitz 常数的深度神经网络训练,通过对每层的参数进行 Lipschitz 常数约束来提供灵敏度边界,实现差分隐私以保证网络的私密性,在固定的隐私保证下最大化梯度与噪声之比,并提供 Python 包以实现构建和私人训练。
May, 2023
本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法(DP-PSAC),通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证,我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差,其算法效果优于同领域的相关工作 NSGD/Auto-S。
Dec, 2022
本文针对机器学习中的差分隐私引入了『utility-privacy trade-off』,并提出了一种名为 DPSGD-F 的修改版随机梯度下降算法来消除差分隐私对受保护群体的不平等影响,具有『adaptive clipping』的特点。我们的实验证明了群体样本大小和群体剪辑偏差如何影响 DPSGD 中差分隐私的影响,以及 DPSGD-F 中如何采用自适应剪辑来减轻差分隐私造成的不平等影响。
Mar, 2020
该文探讨了在深度学习模型中如何保护训练数据的隐私,比较了不同优化方法对模型性能、训练效果和隐私攻击的影响,并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。
Sep, 2022
本文发展了一种新的 DP-SGD 分析方法,该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题,具有更好的隐私保障,特别是对正确分类的数据点而言。
Jul, 2023
我们提出了一种新的误差反馈(EF)DP 算法作为 DPSGD-GC 的替代方案,它不仅提供了逐渐减小的效用界限而且不引入恒定的剪裁偏差,更重要的是,它允许独立于问题进行剪裁阈值的任意选择。
Nov, 2023