人工智能系统在日常生活中普遍存在，在零售、制造、健康等许多领域都有应用。随着人工智能采用的增加，相关风险也被识别出来，其中包括对用于训练模型的数据的隐私风险。评估机器学习模型的隐私风险对于做出有知识决策，是否使用、部署或共享模型至关重要。对隐私风险评估的常见方法是运行一个或多个已知的攻击来评估攻击的成功率。我们提出了一个新颖的框架来运行针对分类模型的成员推理攻击。我们的框架利用集合方法，针对数据的不同子集生成许多专门的攻击模型。我们证明这种方法在经典和语言分类任务中比单个攻击模型或每个类标签的攻击模型都具有更高的准确性。

Oct, 2023

研究表明，通过对用户数据进行细调的大型语言模型（LLMs）存在用户推测攻击的隐私风险，攻击者可以通过仅需少量用户样本和黑盒访问细调后的 LLMs 来推断用户的数据是否被用于细调，通过限制单个用户的细调样本数量可以减少攻击效果，但也会降低细调数据总量。

Oct, 2023

最近的研究表明，大型语言模型容易受到侵犯隐私的攻击，推断出训练数据的某些方面。然而，目前尚不清楚是否简单的生成模型（如主题模型）具有类似的弱点。本文提出了一种针对主题模型的攻击方法，可以自信地识别潜在狄利克雷分布中的训练数据成员。我们的结果表明，与生成神经模型相关的隐私风险并不仅限于大型模型。此外，为了减轻这些弱点，我们探讨了差分隐私的主题模型。我们提出了一个框架，将差分隐私词汇选择作为预处理步骤纳入私有主题模型，并展示它在保护隐私方面的改进，对实际效用影响较小。

Mar, 2024

该论文通过对机器学习模型逐一评估，探究其在会员隐私方面存在的风险。研究表明，攻击模型的效果主要由数据驱动，受数据集的影响较大。在攻击过程中，抗攻击模型的选择和参与者的数量也是影响因素之一。最后，论文给出了相应的对策和缓解策略。

Jun, 2018

本文研究了基于迁移学习模型的成员推断攻击，采用了影子模型训练策略，通过实验结果展示了成员推断攻击的有效性，并揭示了机器学习模型在实践中存在的成员隐私泄露风险。

Sep, 2020

通过成员推理攻击作为审核工具，我们提出了一个综合的假设检验框架，不仅能够以一致的方式正式表达先前的工作，还可以设计新的成员推理攻击，使用参考模型来实现任意误报率的显著更高的功率（真正的阳性率），并解释为什么不同的攻击效果不同，并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。

Nov, 2021

本文提出了针对机器学习服务的会员推理攻击的可能性，并放宽了先前攻击假设中的关键假设，说明这些攻击的适用性广泛且代价低廉，从而比先前认为的更具严重性；提出了对抗此类攻击的第一种有效机制，并保持模型的高效性。

Jun, 2018

使用类似于似然比假设检验的成员推理攻击方法，我们发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的 AUC 从 0.66 提高到 0.9 级别，并且在低误差区域有显着提高：在 1％误报率的情况下，攻击效果比先前攻击提高了 51 倍。

Mar, 2022

利用小型专用数据集微调大型预训练模型来生成特定应用模型是常见的做法。然而，我们揭示了一种新的漏洞：隐私后门攻击，通过该攻击，在微调受后门影响的模型时，训练数据的隐私泄露率会显著增加。我们在不同数据集和模型上进行了大量实验证明了这种攻击的广泛适用性和有效性，并通过不同微调方法和推断策略进行了多次消融研究以全面分析这个新威胁。我们的发现突出了机器学习社区的重要隐私问题，并呼吁重新评估使用开源预训练模型的安全协议。

Apr, 2024

本文通过对机器学习模型泄露个人数据记录的数量进行定量研究，并聚焦于基本的成员推理攻击，利用对手方机器学习技术来训练自己的推理模型，识别目标模型在训练和未训练输入上的预测差异，我们评估了这种推理技术对各种分类模型的影响，包括敏感医院出院数据集，发现这些模型容易受到成员攻击，并探讨影响泄漏的因素并评估缓解策略。

Oct, 2016