本文通过对机器学习模型泄露个人数据记录的数量进行定量研究,并聚焦于基本的成员推理攻击,利用对手方机器学习技术来训练自己的推理模型,识别目标模型在训练和未训练输入上的预测差异,我们评估了这种推理技术对各种分类模型的影响,包括敏感医院出院数据集,发现这些模型容易受到成员攻击,并探讨影响泄漏的因素并评估缓解策略。
Oct, 2016
本文研究了基于迁移学习模型的成员推断攻击,采用了影子模型训练策略,通过实验结果展示了成员推断攻击的有效性,并揭示了机器学习模型在实践中存在的成员隐私泄露风险。
Sep, 2020
通过成员推理攻击作为审核工具,我们提出了一个综合的假设检验框架,不仅能够以一致的方式正式表达先前的工作,还可以设计新的成员推理攻击,使用参考模型来实现任意误报率的显著更高的功率(真正的阳性率),并解释为什么不同的攻击效果不同,并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。
Nov, 2021
本文研究了在使用机器学习模型提供服务时出现的数据隐私问题,尤其是会员推理攻击和属性推理攻击,并发现基于成员推理攻击的模型很少容易受到属性推理攻击,但是基于近似属性推理的攻击可以获取接近真实属性的结果。
Mar, 2021
本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查,提供了攻击和防御的分类学及其优缺点,并指出了相关领域的研究限制和未来方向,为研究社区提供了参考。
本文研究机器学习与深度学习对隐私的威胁,提出了一种测量训练数据泄露的方法以及针对成员推断攻击的新型防御机制,并通过实验数据支持了研究的结论。
Jul, 2022
本文提出了针对机器学习服务的会员推理攻击的可能性,并放宽了先前攻击假设中的关键假设,说明这些攻击的适用性广泛且代价低廉,从而比先前认为的更具严重性;提出了对抗此类攻击的第一种有效机制,并保持模型的高效性。
Jun, 2018
本文提出了基于决策的成员推理攻击方法,证明了仅利用标签信息的模型也容易受到成员泄漏攻击,并且开发了两种决策攻击类型:转移攻击和边界攻击。最后,我们评估多种防御机制,并展示了我们提出的两种攻击方式可以绕过大部分防御。
Jul, 2020
本文第一次尝试从成员推理的角度量化推荐系统的隐私泄漏,并提出了基于成员推理的攻击框架和防御机制。实验结果表明,攻击框架具有强大的性能。
Sep, 2021
人工智能系统在日常生活中普遍存在,在零售、制造、健康等许多领域都有应用。随着人工智能采用的增加,相关风险也被识别出来,其中包括对用于训练模型的数据的隐私风险。评估机器学习模型的隐私风险对于做出有知识决策,是否使用、部署或共享模型至关重要。对隐私风险评估的常见方法是运行一个或多个已知的攻击来评估攻击的成功率。我们提出了一个新颖的框架来运行针对分类模型的成员推理攻击。我们的框架利用集合方法,针对数据的不同子集生成许多专门的攻击模型。我们证明这种方法在经典和语言分类任务中比单个攻击模型或每个类标签的攻击模型都具有更高的准确性。
Oct, 2023