通过对抗示例进行成员推断攻击
本文通过对机器学习模型泄露个人数据记录的数量进行定量研究,并聚焦于基本的成员推理攻击,利用对手方机器学习技术来训练自己的推理模型,识别目标模型在训练和未训练输入上的预测差异,我们评估了这种推理技术对各种分类模型的影响,包括敏感医院出院数据集,发现这些模型容易受到成员攻击,并探讨影响泄漏的因素并评估缓解策略。
Oct, 2016
介绍了一种隐私机制,用于训练机器学习模型以保证隐私,并使用敌对训练算法最小化模型的分类损失和最大的成员推断攻击,从而提高模型的鲁棒性和泛化性能,该机制在深度神经网络上的测试结果表明,可以在可接受的分类误差下显著降低成员推断攻击的风险。
Jul, 2018
本文研究机器学习中的安全和隐私领域,重点探究性会员推断攻击是否会受到对抗性的防御方法的影响,并通过实验验证证明对抗性的防御方法可以增加目标模型的风险。
May, 2019
本文提出了基于决策的成员推理攻击方法,证明了仅利用标签信息的模型也容易受到成员泄漏攻击,并且开发了两种决策攻击类型:转移攻击和边界攻击。最后,我们评估多种防御机制,并展示了我们提出的两种攻击方式可以绕过大部分防御。
Jul, 2020
该研究关注于机器学习模型中有关成员推断攻击的问题,并提出了一种新的会员推断技术——抽样攻击,进一步研究了两种最近的攻击模型以及针对这些攻击的防御方法,最终发现在预测输出时的输出微扰技术是一种简单易行的隐私保护方法,对预测结果的影响较小。
Sep, 2020
本文研究了基于迁移学习模型的成员推断攻击,采用了影子模型训练策略,通过实验结果展示了成员推断攻击的有效性,并揭示了机器学习模型在实践中存在的成员隐私泄露风险。
Sep, 2020
本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查,提供了攻击和防御的分类学及其优缺点,并指出了相关领域的研究限制和未来方向,为研究社区提供了参考。
Mar, 2021
通过成员推理攻击作为审核工具,我们提出了一个综合的假设检验框架,不仅能够以一致的方式正式表达先前的工作,还可以设计新的成员推理攻击,使用参考模型来实现任意误报率的显著更高的功率(真正的阳性率),并解释为什么不同的攻击效果不同,并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。
Nov, 2021
本文提出了一种基于对抗鲁棒性的增强成员推断攻击方法,通过标签平滑调整对抗性扰动的方向,在白盒设置下对Fashion-MNIST、CIFAR-10和CIFAR-100三种数据集进行了实验,结果表明该方法的性能优于现有的基于对抗性鲁棒性的方法,且在攻击对抗性训练模型方面,更胜一筹。
May, 2022
现代机器学习(ML)生态系统提供了大量的ML框架和代码库,可以极大地促进ML模型的开发。本研究考虑了恶意ML提供者供应模型训练代码给数据持有者的情况,该提供者无法访问训练过程,只能以黑盒查询方式访问结果模型。我们展示了一种新形式的成员推断攻击,比以往的攻击更强大,使对手能够可靠地取消识别所有训练样本,并且被攻击的模型仍然保持与未受损对照模型相当的性能。此外,我们还展示了被污染的模型可以在常见的成员隐私审核下有效伪装被放大的成员泄漏,只有对手知道的一组秘密样本才能揭示。总体而言,我们的研究不仅指出了最坏情况下的成员隐私泄漏,还揭示了现有隐私审核方法的一个常见问题,需要未来努力重新思考机器学习模型中的隐私审核实践。
Jul, 2024