本文研究了机器学习模型的隐私风险和成员推理攻击，提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标，同时对已有的防御机制进行了基准攻击，实验结果表明个体样本的隐私风险得分分布差异很大，同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。

Mar, 2020

本文介绍了一种基于标签的会员推理攻击方法，通过对模型预测标签进行扰动来获取精细的成员信号，该攻击未被置换机密度分数的防御措施所挫败，仅采用差分隐私和（强）L2 正则化等防御策略才能有效地抵御所有攻击。

Jul, 2020

本文提出了基于决策的成员推理攻击方法，证明了仅利用标签信息的模型也容易受到成员泄漏攻击，并且开发了两种决策攻击类型：转移攻击和边界攻击。最后，我们评估多种防御机制，并展示了我们提出的两种攻击方式可以绕过大部分防御。

Jul, 2020

本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查，提供了攻击和防御的分类学及其优缺点，并指出了相关领域的研究限制和未来方向，为研究社区提供了参考。

Mar, 2021

通过成员推理攻击作为审核工具，我们提出了一个综合的假设检验框架，不仅能够以一致的方式正式表达先前的工作，还可以设计新的成员推理攻击，使用参考模型来实现任意误报率的显著更高的功率（真正的阳性率），并解释为什么不同的攻击效果不同，并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。

Nov, 2021

使用类似于似然比假设检验的成员推理攻击方法，我们发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的AUC从0.66提高到0.9级别，并且在低误差区域有显着提高：在1％误报率的情况下，攻击效果比先前攻击提高了51倍。

Mar, 2022

大型语言模型在自然语言处理领域取得了卓越的性能，但存在信息泄露的担忧。本研究关注总结任务，并研究了成员推断攻击：在对模型的API拥有黑盒访问权限的情况下，能否确定样本是否属于训练数据。我们利用文本相似性和模型对文档修改的抵抗力作为潜在的攻击信号，并评估它们在广泛使用的数据集上的有效性。我们的结果表明，总结模型存在泄露数据成员身份的风险，即使参考摘要不可用。此外，我们讨论了几种保护总结模型免受成员推断攻击的安全防护措施，并讨论了隐私与效用之间的固有权衡。

Oct, 2023

自然语言处理模型在最近几年中经历了显著的提升，其上已建立了许多应用。然而，这些应用中许多需要在定制的专有数据集上对通用基础模型进行微调，这些微调数据往往含有个人或敏感信息，增加了隐私风险。本研究首次系统回顾了大型自然语言处理模型在成员推理攻击方面的脆弱性，整理了影响这种攻击脆弱性的各种因素以及不同防御策略的有效性。研究表明，某些训练方法能显著降低隐私风险，其中差分隐私和低秩适配器的组合在保护隐私方面效果最好。

Mar, 2024

现代机器学习（ML）生态系统提供了大量的ML框架和代码库，可以极大地促进ML模型的开发。本研究考虑了恶意ML提供者供应模型训练代码给数据持有者的情况，该提供者无法访问训练过程，只能以黑盒查询方式访问结果模型。我们展示了一种新形式的成员推断攻击，比以往的攻击更强大，使对手能够可靠地取消识别所有训练样本，并且被攻击的模型仍然保持与未受损对照模型相当的性能。此外，我们还展示了被污染的模型可以在常见的成员隐私审核下有效伪装被放大的成员泄漏，只有对手知道的一组秘密样本才能揭示。总体而言，我们的研究不仅指出了最坏情况下的成员隐私泄漏，还揭示了现有隐私审核方法的一个常见问题，需要未来努力重新思考机器学习模型中的隐私审核实践。

Jul, 2024

本研究解决了上下文学习在适应大型语言模型（LLM）时面临的隐私攻击漏洞问题。我们提出了首个专门针对上下文学习的成员推断攻击方法，结果表明，相比现有的基于概率的攻击，我们的攻击在大多数情况下能准确判断成员状态，准确率可达95%。此外，我们还探讨了组合防御策略以增强隐私保护的可能性。

Sep, 2024