ICMLJul, 2021

使用混合自动微分进行差分隐私机器学习的灵敏度分析

PDF
TL;DR介绍了一种新的混合自动微分系统，可用于推理隐私损失，并进一步开发自动灵敏度分析和隐私预算系统，在统计数据库查询和 DP 神经网络的训练中具有良好的应用前景。
differential privacymachine learningautomatic differentiationprivacy budgetingneural networks
发现论文，激发创造
  • 一种自适应快速收敛的差分隐私深度学习方法

    本文提出了 ADADP 算法，该算法是一种自适应且具有可证明隐私保证的学习算法，通过引入自适应噪声以及自适应学习率，显著降低了隐私成本并减轻了差分隐私对模型准确性的负面影响。ADADP 在真实数据集上的实验结果表明，它在隐私成本和模型准确性方面都优于最先进的具有差分隐私的方法。

    Dec, 2019

  • 对抗实例化：差分隐私机器学习的下界

    本文针对 DP-SGD，即差分隐私下的随机梯度下降算法，采用对手模型来探究不同的对手能力对于隐私分析的影响，并计算了隐私保护的下限。实验结果表明，现实情况下的对手能力限制显著影响了隐私的泄露程度，这说明已有理论上的隐私上限过于保守。

    Jan, 2021

  • DPMLBench：差分隐私机器学习的整体评估

    我们通过对改进的 DPML 算法的效用和防御能力对成员推断攻击进行了整体度量，在图像分类任务中我们首次提出了具有机器学习生命周期其中改进的分类法的分类体系。我们通过使用实验来表明了 DP 能够有效地抵御成员推断攻击，并且敏感性绑定技术，如每个样本梯度剪辑，在防御中起着重要作用。 标签 DP 算法可以实现较小的效用损失，但对攻击十分脆弱。我们的研究结果可以支持数据拥有者使用 DPMLBench 部署 DPML 算法，并作为研究人员和实践者的基准工具。

    May, 2023

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 判别式对抗隐私：在神经网络中平衡准确性和成员隐私

    本文提出了一种名为 “判别性对抗隐私”（DAP）的新型学习技术，该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练，基于一种新的损失函数，该函数能够最小化预测误差并最大化 MIA 的误差。此外，我们引入了一种名为 “准确性隐私权”（AOP）的新指标来捕捉性能 - 隐私权衡。最后，为了验证我们的观点，我们将 DAP 与不同的 DP 情景进行比较，并从性能、时间和隐私保护角度分析结果。

    Jun, 2023

  • 实用差分隐私的三种工具

    在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

    Dec, 2018

  • DPAdapter：通过噪声容忍预训练改进差分隐私深度学习

    DPAdapter 是一种创新技术，通过增强参数的稳健性，提高了差分隐私机器学习算法的模型性能。实验证明，使用 DPAdapter 结合现有的 DPML 算法可以显著提高其平均准确率，从 72.92% 提升至 77.09%，并保持一个隐私预算 ε=4。

    Mar, 2024

  • 机器学习的贝叶斯差分隐私

    提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

    Jan, 2019

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 差分隐私与对抗鲁棒机器学习：实证评估

    使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

    Jan, 2024