Mar, 2020

消除差异隐私随机梯度下降对模型准确性的不利影响

PDF
TL;DR本文针对机器学习中的差分隐私引入了『utility-privacy trade-off』，并提出了一种名为 DPSGD-F 的修改版随机梯度下降算法来消除差分隐私对受保护群体的不平等影响，具有『adaptive clipping』的特点。我们的实验证明了群体样本大小和群体剪辑偏差如何影响 DPSGD 中差分隐私的影响，以及 DPSGD-F 中如何采用自适应剪辑来减轻差分隐私造成的不平等影响。
differential privacymachine learningutility-privacy trade-offdisparate impactadaptive clipping
发现论文，激发创造
  • 梯度不对齐导致差异隐私的不平等影响

    本文研究机器学习中隐私性与公平性问题中，隐私增强技术可能会加剧模型中的不公平，导致数据中不同群体的差异性迅速增大；通过研究 DPSGD 不公平根源，本文提出一种新方法，通过防止 DPSGD 中梯度错位来降低不公平。

    Jun, 2022

  • 差分隐私对模型准确性影响不一

    本文研究的 DP-SGD 算法在训练神经网络时，由于梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，使 DP-SGD 算法不适用于存在不平衡类别数据的训练任务。

    May, 2019

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 动态差分隐私保护随机梯度下降

    本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 无剪切偏差的差分隐私 SGD：一种误差反馈方法

    我们提出了一种新的误差反馈（EF）DP 算法作为 DPSGD-GC 的替代方案，它不仅提供了逐渐减小的效用界限而且不引入恒定的剪裁偏差，更重要的是，它允许独立于问题进行剪裁阈值的任意选择。

    Nov, 2023

  • 特征预处理对差分隐私线性优化的重要性

    用差分隐私训练机器学习模型的方法在近年来受到越来越多的关注。我们通过研究线性分类的简单案例，首次展示出在差分隐私优化中，除了使用差分隐私随机梯度下降算法（DPSGD）外，特征预处理对于优化结果的重要性。我们提出了一种名为 DPSGD-F 的算法，结合了 DPSGD 和特征预处理，并证明了对于分类任务，它的隐私误差与特征的直径成正比。我们还通过图像分类基准测试展示了我们算法的实用性。

    Jul, 2023

  • DPSUR: 通过选择性更新和发布加速差分隐私随机梯度下降

    DPSUR 是基于选择性更新和发布的差分隐私训练框架，通过评估每次迭代的梯度并只使用导致收敛的更新，实现了比 DPSGD 更快的收敛速度，实验结果表明 DPSUR 在收敛速度和模型效用方面明显优于之前的研究成果。

    Nov, 2023

  • 不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

    本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

    Oct, 2021

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022