通过对抗鲁棒性评估成员推断
本文研究了基于迁移学习模型的成员推断攻击,采用了影子模型训练策略,通过实验结果展示了成员推断攻击的有效性,并揭示了机器学习模型在实践中存在的成员隐私泄露风险。
Sep, 2020
现代机器学习(ML)生态系统提供了大量的 ML 框架和代码库,可以极大地促进 ML 模型的开发。本研究考虑了恶意 ML 提供者供应模型训练代码给数据持有者的情况,该提供者无法访问训练过程,只能以黑盒查询方式访问结果模型。我们展示了一种新形式的成员推断攻击,比以往的攻击更强大,使对手能够可靠地取消识别所有训练样本,并且被攻击的模型仍然保持与未受损对照模型相当的性能。此外,我们还展示了被污染的模型可以在常见的成员隐私审核下有效伪装被放大的成员泄漏,只有对手知道的一组秘密样本才能揭示。总体而言,我们的研究不仅指出了最坏情况下的成员隐私泄漏,还揭示了现有隐私审核方法的一个常见问题,需要未来努力重新思考机器学习模型中的隐私审核实践。
Jul, 2024
该论文通过对机器学习模型逐一评估,探究其在会员隐私方面存在的风险。研究表明,攻击模型的效果主要由数据驱动,受数据集的影响较大。在攻击过程中,抗攻击模型的选择和参与者的数量也是影响因素之一。最后,论文给出了相应的对策和缓解策略。
Jun, 2018
通过成员推理攻击作为审核工具,我们提出了一个综合的假设检验框架,不仅能够以一致的方式正式表达先前的工作,还可以设计新的成员推理攻击,使用参考模型来实现任意误报率的显著更高的功率(真正的阳性率),并解释为什么不同的攻击效果不同,并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。
Nov, 2021
本文通过对机器学习模型泄露个人数据记录的数量进行定量研究,并聚焦于基本的成员推理攻击,利用对手方机器学习技术来训练自己的推理模型,识别目标模型在训练和未训练输入上的预测差异,我们评估了这种推理技术对各种分类模型的影响,包括敏感医院出院数据集,发现这些模型容易受到成员攻击,并探讨影响泄漏的因素并评估缓解策略。
Oct, 2016
介绍了一种隐私机制,用于训练机器学习模型以保证隐私,并使用敌对训练算法最小化模型的分类损失和最大的成员推断攻击,从而提高模型的鲁棒性和泛化性能,该机制在深度神经网络上的测试结果表明,可以在可接受的分类误差下显著降低成员推断攻击的风险。
Jul, 2018
本文研究机器学习中的安全和隐私领域,重点探究性会员推断攻击是否会受到对抗性的防御方法的影响,并通过实验验证证明对抗性的防御方法可以增加目标模型的风险。
May, 2019
本文提出了首个针对生成模型的成员推断攻击方法,使用生成对抗网络检测过度拟合并识别训练数据,发现缺陷对于不同的训练参数有不同的灵敏度,防御方法不够有效并会导致生成模型在训练稳定性或样本质量方面表现较差。
May, 2017
该研究关注于机器学习模型中有关成员推断攻击的问题,并提出了一种新的会员推断技术 —— 抽样攻击,进一步研究了两种最近的攻击模型以及针对这些攻击的防御方法,最终发现在预测输出时的输出微扰技术是一种简单易行的隐私保护方法,对预测结果的影响较小。
Sep, 2020