AAAIJul, 2020

数据增强对机器学习隐私的影响是什么？

PDF
TL;DR本文挑战了数据增广可以有效缓解成员推断秘密攻击（MI）的这一观察，并提出利用增广数据信息的新的 MI 攻击。实验结果表明，使用本文提出的方法可以普遍优于没有使用增广数据的方法，且可以在某些增广数据的模型上成功率更高，这表明了使用增广数据所带来的隐私风险可能被大大低估。
data augmentationmembership inference attackset classificationoptimal membership inferenceprivacy risk
发现论文，激发创造
  • 隐私保护的数据增强与机器遗忘实现的去偏移

    我们提出了一种有效的数据增强和机器遗忘的组合方法，可以减少数据偏差并提供对已知攻击的可证明防御。具体而言，我们利用基于扩散的数据增强来维护训练模型的公平性，并利用多分片遗忘来从机器学习模型中删除原始数据的识别信息，以保护隐私免受攻击。通过对不同数据集的实验评估表明，我们的方法在减少偏差和抵抗最新隐私攻击方面取得了显著改进。

    Apr, 2024

  • 关于正则化对抗隶属推断攻击的有效性

    探索深度学习模型对隐私泄露的影响及规避方法，并评估不同正则化机制对防御成员推理攻击的有效性与隐私保护性。

    Jun, 2020

  • 深度学习的实际成员隐私理解

    我们应用最先进的成员推理攻击方法，系统地测试了对大型图像分类模型进行微调时的实际隐私漏洞，重点在于了解使其易受成员推理攻击的数据集和样本的特性。就数据集的特性而言，我们发现数据集中每个类别的示例数量与成员推理攻击的脆弱性之间存在强烈的幂律依赖性，通过攻击的真阳率在低假阳率下衡量。对于单个样本来说，在训练结束时较大的梯度与成员推理攻击的脆弱性存在强相关性。

    Feb, 2024

  • 探究数据依赖下的成员推断攻击

    本文研究了在考虑统计依赖性的情况下，Differentially Private 训练算法在 Membership Inference Attack 防御中的可行性，发现在存在依赖性的情况下，DP 无法提供有效保护。作者通过对离线对攻击的实验表明，数据样本之间的依赖关系严重影响了 Membership Inference Attack 的性能表现。

    Oct, 2020

  • 成员推断攻击的数据和模型依赖性

    该论文分析了成员推理攻击的成功因素，发现数据集和训练模型的多个属性共同影响攻击成功率，提出使用这些属性作为正则化器以保护机器学习模型免受攻击。经实验证明，该方法可将攻击准确率降低多达 25％，而不影响机器学习模型的预测效果。

    Feb, 2020

  • 机器学习模型增强攻击下的成员推断攻击

    通过成员推理攻击作为审核工具，我们提出了一个综合的假设检验框架，不仅能够以一致的方式正式表达先前的工作，还可以设计新的成员推理攻击，使用参考模型来实现任意误报率的显著更高的功率（真正的阳性率），并解释为什么不同的攻击效果不同，并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。

    Nov, 2021

  • 机器学习模型隐私成员推断攻击的基本限制

    会员推断攻击可以揭示出某个特定数据点是否属于训练数据集，并潜在地暴露个人敏感信息。本文探讨了与机器学习模型上的会员推断攻击相关的基本统计限制。具体而言，我们首先推导了统治这类攻击的有效性与成功的统计量。然后，我们研究了几种情况，并提供了对这个感兴趣的统计量的上下界。这使得我们能够推导出攻击的准确性与样本数量以及学习模型的其他结构参数之间的关系，在某些情况下，这些参数可以直接根据数据集进行估计。

    Oct, 2023

  • 课程学习中的隐私风险综合研究

    通过演示对课程学习的影响，我们的研究填补了对机器学习隐私泄露的缺乏评估。我们发现，课程学习对会员推理攻击更加有效，但对属性推理攻击的影响较小。我们还提出了一种新的会员推理攻击方法以及针对课程学习的防御解决方案。

    Oct, 2023

  • 关于成员推断攻击的不信任

    本文探讨了使用 MI 攻击来检测敏感数据泄露的问题，结果发现 MI 攻击容易被挑战其可靠性，并提出一种新的算法，将假阳性率提高至数千倍。

    Dec, 2022

  • 机器学习中的成员推断攻击：一项调查

    本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查，提供了攻击和防御的分类学及其优缺点，并指出了相关领域的研究限制和未来方向，为研究社区提供了参考。

    Mar, 2021