深度学习在野外的隐私分析:针对迁移学习的成员推理攻击
介绍了一种隐私机制,用于训练机器学习模型以保证隐私,并使用敌对训练算法最小化模型的分类损失和最大的成员推断攻击,从而提高模型的鲁棒性和泛化性能,该机制在深度神经网络上的测试结果表明,可以在可接受的分类误差下显著降低成员推断攻击的风险。
Jul, 2018
本文研究机器学习中的安全和隐私领域,重点探究性会员推断攻击是否会受到对抗性的防御方法的影响,并通过实验验证证明对抗性的防御方法可以增加目标模型的风险。
May, 2019
本文研究了机器学习模型的隐私风险和成员推理攻击,提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标,同时对已有的防御机制进行了基准攻击,实验结果表明个体样本的隐私风险得分分布差异很大,同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。
Mar, 2020
该论文研究深度学习中的成员推理攻击,指出现有攻击方法的报告中存在高误报率(FAR)和针对误分样本的较弱识别能力,并探索了距离决策边界和梯度范数等新特征,证明其对误分类样本分类能力普遍一般,最后通过多项实验证明了现有的MI攻击较难同时实现高准确率和低FAR。
May, 2020
本文提出了基于决策的成员推理攻击方法,证明了仅利用标签信息的模型也容易受到成员泄漏攻击,并且开发了两种决策攻击类型:转移攻击和边界攻击。最后,我们评估多种防御机制,并展示了我们提出的两种攻击方式可以绕过大部分防御。
Jul, 2020
该研究关注于机器学习模型中有关成员推断攻击的问题,并提出了一种新的会员推断技术——抽样攻击,进一步研究了两种最近的攻击模型以及针对这些攻击的防御方法,最终发现在预测输出时的输出微扰技术是一种简单易行的隐私保护方法,对预测结果的影响较小。
Sep, 2020
本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查,提供了攻击和防御的分类学及其优缺点,并指出了相关领域的研究限制和未来方向,为研究社区提供了参考。
Mar, 2021
通过成员推理攻击作为审核工具,我们提出了一个综合的假设检验框架,不仅能够以一致的方式正式表达先前的工作,还可以设计新的成员推理攻击,使用参考模型来实现任意误报率的显著更高的功率(真正的阳性率),并解释为什么不同的攻击效果不同,并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。
Nov, 2021
现代机器学习(ML)生态系统提供了大量的ML框架和代码库,可以极大地促进ML模型的开发。本研究考虑了恶意ML提供者供应模型训练代码给数据持有者的情况,该提供者无法访问训练过程,只能以黑盒查询方式访问结果模型。我们展示了一种新形式的成员推断攻击,比以往的攻击更强大,使对手能够可靠地取消识别所有训练样本,并且被攻击的模型仍然保持与未受损对照模型相当的性能。此外,我们还展示了被污染的模型可以在常见的成员隐私审核下有效伪装被放大的成员泄漏,只有对手知道的一组秘密样本才能揭示。总体而言,我们的研究不仅指出了最坏情况下的成员隐私泄漏,还揭示了现有隐私审核方法的一个常见问题,需要未来努力重新思考机器学习模型中的隐私审核实践。
Jul, 2024