Apr, 2024

机器学习隐私防护评估误导性的研究

PDF
TL;DR现有经验性隐私评估存在严重陷阱，忽略了差分隐私的可证明保证，无法准确评估最易受攻击样本的隐私泄露，使用弱攻击方法且避免与实际差分隐私基准进行比较。在五个实证隐私防御案例中，我们发现先前的评估低估了隐私泄露量一个数量级。在我们更强的评估方法下，我们研究的任何经验性防御方法都无法与合理调优、高效的 DP-SGD 基线竞争（具备虚无可证明保证）。
machine learning privacydifferential privacyempirical defensesmembership inference attacksprivacy leakage
发现论文，激发创造
  • 差分隐私与对抗鲁棒机器学习：实证评估

    使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

    Jan, 2024

  • DPMLBench：差分隐私机器学习的整体评估

    我们通过对改进的 DPML 算法的效用和防御能力对成员推断攻击进行了整体度量，在图像分类任务中我们首次提出了具有机器学习生命周期其中改进的分类法的分类体系。我们通过使用实验来表明了 DP 能够有效地抵御成员推断攻击，并且敏感性绑定技术，如每个样本梯度剪辑，在防御中起着重要作用。 标签 DP 算法可以实现较小的效用损失，但对攻击十分脆弱。我们的研究结果可以支持数据拥有者使用 DPMLBench 部署 DPML 算法，并作为研究人员和实践者的基准工具。

    May, 2023

  • 一参数防御 —— 利用差分隐私抵御数据推断攻击

    本文提出了一种采用差分隐私机制的数据推断攻击防御方法，通过调节一个参数，即隐私预算，处理成员推断和模型反演两种类型的攻击。该方法能够保持分类精度，并通过修改和标准化置信度得分矢量来保护成员隐私信息。实验结果表明，该方法对于成员推断和模型反演两种攻击是一种有效且及时的防御方法，不影响模型分类准确度。

    Mar, 2022

  • 对抗实例化：差分隐私机器学习的下界

    本文针对 DP-SGD，即差分隐私下的随机梯度下降算法，采用对手模型来探究不同的对手能力对于隐私分析的影响，并计算了隐私保护的下限。实验结果表明，现实情况下的对手能力限制显著影响了隐私的泄露程度，这说明已有理论上的隐私上限过于保守。

    Jan, 2021

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 审计差分隐私机器学习：隐私难道不够隐私？(Auditing Differentially Private Machine Learning: How Private is Private SGD?)

    我们使用新的数据污染攻击研究不同 ially Private SGD 的隐私保护是否比其最先进的分析保证更好，并量化实现差异隐私算法提供的隐私保护，以便在分析隐私的工作上实现补充和影响。

    Jun, 2020

  • 训练知道自己不知道什么的私有模型

    通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

    May, 2023

  • 差分隐私的极限（及其在数据发布和机器学习中的误用）

    文章介绍了差分隐私的优点及其在交互式查询的数据使用中的应用，同时指出了其局限性，强调需要注意其在个人数据采集、发布以及机器学习等领域中的滥用。

    Nov, 2020

  • 实用差分隐私的三种工具

    在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

    Dec, 2018

  • 差分隐私和机器学习：调查和评论

    本文讨论了机器学习和差分隐私之间的相互作用，即隐私保护机器学习算法和基于学习的数据发布机制，探讨了可以通过差分隐私进行学习的内容以及差分隐私算法的损失函数上限。同时提出了一些开放性问题，包括如何整合公共数据，如何处理私人数据集中的缺失数据，以及当观察样本数量任意增大时，是否可以实现差分隐私机器学习算法而无需牺牲相关算法的效用成本。

    Dec, 2014