使用类似于似然比假设检验的成员推理攻击方法，我们发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的AUC从0.66提高到0.9级别，并且在低误差区域有显着提高：在1％误报率的情况下，攻击效果比先前攻击提高了51倍。

Mar, 2022

基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的LLMs泄露隐私的成员推断攻击方法。

Nov, 2023

成员推理攻击的大规模评估发现在多种设置中，大型语言模型的预训练数据上的成员推理攻击表现较差，主要原因是庞大数据集和较少训练迭代之间的结合，以及成员和非成员之间存在模糊的边界。我们识别出特定的设置，这些设置中语言模型易受成员推理攻击影响，并证明这种成功可以归因于分布变化，例如成员和非成员从看似相同的领域，但具有不同的时间范围。我们提供了代码和数据，形成了一个统一的基准测试套件，包括所有现有的成员推理攻击方案，以支持未来的研究工作。

Feb, 2024

大语言模型在现实世界中的大量使用产生了对公司以未经许可的方式在互联网上训练模型的版权纠纷。本文提出了一种新的数据集推断方法来准确识别用于训练大语言模型的数据集，成功地区分了不同子集的Pile数据集的训练集和测试集，无任何错误的正例。

Jun, 2024

通过条件语言建模开展一个新的成员推理攻击，称为ReCaLL，以检测大型语言模型的预训练数据，并展示其在WikiMIA数据集上能够达到最先进的性能。

Jun, 2024

通过使用简单的词袋分类器，我们发现最近的后续成员推理攻击(MIAs)研究中使用的数据集存在显著的分布偏移，这意味着先前报道的高MIA性能可能主要归因于这些偏移而不是模型的记忆。为了解决这个问题，我们提出了回归不连续设计(RDD)方法来减轻分布偏移。在这种RDD设置下评估各种MIA方法的性能表现几乎与随机猜测相当，与先前报道的结果截然不同。总之，我们的研究结果凸显了准确衡量LLM记忆的挑战，以及在(后续)成员推理任务中需要仔细进行实验设计的必要性。

Jun, 2024

本研究解决了大型语言模型（LLMs）在隐私风险和版权问题审核上的缺口，提出了一种新颖的基于指令的成员推断攻击方法MIA-Tuner，通过指导LLMs自身作为更精确的预训练数据检测器，提升检测信心。此外，设计了两项基于指令的安全措施，以缓解隐私风险。实验结果表明，MIA-Tuner将MIA的AUC从0.7显著提高至0.9。

Aug, 2024

本研究解决了大规模语言模型（LLMs）在成员推断攻击中的隐私风险，现有方法依赖多次训练计算开销大的影子模型，导致评估风险的成本高昂。本文提出了一种低成本的成员推断攻击方法，利用小型分位回归模型的集成，以有效判定文档是否属于训练集。实验结果显示，该方法在计算预算仅为现有方法6%的情况下，取得了与最先进方法相当或更好的精度，并在多种模型和数据集上展现了强大的有效性。

Sep, 2024

本研究针对大型语言模型（LLMs）训练数据不透明的问题，提出了一种新颖的成员推断攻击（MIA）方法EM-MIA，利用期望最大化算法迭代改善成员评分和前缀评分。该方法在WikiMIA数据集上取得了最先进的结果，并通过OLMoMIA基准对MIA方法进行全面评估，推动了该领域的未来研究。

Oct, 2024

本研究解决了大语言模型中的会员推断攻击（MIA）在以往研究中表现不佳的问题。我们提出了一种新的评估基准，通过同时测试多份文档，验证现有MIA方法在更大规模下的有效性。最重要的发现是，当前的MIA方法在训练好的大语言模型中首次实现了成功的会员推断。

Oct, 2024