MMMay, 2023

DPMLBench：差分隐私机器学习的整体评估

PDF
TL;DR我们通过对改进的 DPML 算法的效用和防御能力对成员推断攻击进行了整体度量，在图像分类任务中我们首次提出了具有机器学习生命周期其中改进的分类法的分类体系。我们通过使用实验来表明了 DP 能够有效地抵御成员推断攻击，并且敏感性绑定技术，如每个样本梯度剪辑，在防御中起着重要作用。 标签 DP 算法可以实现较小的效用损失，但对攻击十分脆弱。我们的研究结果可以支持数据拥有者使用 DPMLBench 部署 DPML 算法，并作为研究人员和实践者的基准工具。
发现论文，激发创造
  • 超越平均数：差分隐私原型的私有转移学习

    通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

    Jun, 2024

  • 机器学习的贝叶斯差分隐私

    提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

    Jan, 2019

  • 机器学习隐私防护评估误导性的研究

    现有经验性隐私评估存在严重陷阱，忽略了差分隐私的可证明保证，无法准确评估最易受攻击样本的隐私泄露，使用弱攻击方法且避免与实际差分隐私基准进行比较。在五个实证隐私防御案例中，我们发现先前的评估低估了隐私泄露量一个数量级。在我们更强的评估方法下，我们研究的任何经验性防御方法都无法与合理调优、高效的 DP-SGD 基线竞争（具备虚无可证明保证）。

    Apr, 2024

  • 使用输出特定和数据解析隐私配置文件探究 ML 模型的数据集级隐私转变

    本文研究了衡量数据集上 DP 机制对模型隐私保护的能力的新指标 - 隐私覆盖度，并提出了使用该指标排名训练集中样本隐私的方法，进而使用观察到的邻域分布的不可区分性转换来选择 epsilon 值。

    Jun, 2023

  • 对抗实例化：差分隐私机器学习的下界

    本文针对 DP-SGD，即差分隐私下的随机梯度下降算法，采用对手模型来探究不同的对手能力对于隐私分析的影响，并计算了隐私保护的下限。实验结果表明，现实情况下的对手能力限制显著影响了隐私的泄露程度，这说明已有理论上的隐私上限过于保守。

    Jan, 2021

  • 对局部差分隐私对公平性影响的系统和正式研究：初步结果

    通过定量研究隐私保护机制差分隐私对机器学习模型公平性的影响，本研究提供了在不同的隐私级别和数据分布下，差分隐私能对模型公平性产生影响的界限，并确定了隐私减少歧视和增加歧视的情况，验证了理论发现在合成和现实世界数据集上的有效性。

    May, 2024

  • 使用混合自动微分进行差分隐私机器学习的灵敏度分析

    介绍了一种新的混合自动微分系统，可用于推理隐私损失，并进一步开发自动灵敏度分析和隐私预算系统，在统计数据库查询和 DP 神经网络的训练中具有良好的应用前景。

    Jul, 2021

  • 差分隐私与对抗鲁棒机器学习：实证评估

    使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

    Jan, 2024

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 差分隐私的极限（及其在数据发布和机器学习中的误用）

    文章介绍了差分隐私的优点及其在交互式查询的数据使用中的应用，同时指出了其局限性，强调需要注意其在个人数据采集、发布以及机器学习等领域中的滥用。

    Nov, 2020