Feb, 2024

大型语言模型是否受到成员推断攻击的影响？

PDF
TL;DR成员推理攻击的大规模评估发现在多种设置中，大型语言模型的预训练数据上的成员推理攻击表现较差，主要原因是庞大数据集和较少训练迭代之间的结合，以及成员和非成员之间存在模糊的边界。我们识别出特定的设置，这些设置中语言模型易受成员推理攻击影响，并证明这种成功可以归因于分布变化，例如成员和非成员从看似相同的领域，但具有不同的时间范围。我们提供了代码和数据，形成了一个统一的基准测试套件，包括所有现有的成员推理攻击方案，以支持未来的研究工作。
发现论文，激发创造
  • 通过自提示校准对精调大型语言模型进行实用的成员推断攻击

    基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的 LLMs 泄露隐私的成员推断攻击方法。

    Nov, 2023

  • LLM 数据推断：你在我的数据集上训练了吗？

    大语言模型在现实世界中的大量使用产生了对公司以未经许可的方式在互联网上训练模型的版权纠纷。本文提出了一种新的数据集推断方法来准确识别用于训练大语言模型的数据集，成功地区分了不同子集的 Pile 数据集的训练集和测试集，无任何错误的正例。

    Jun, 2024

  • 机器学习模型隐私成员推断攻击的基本限制

    会员推断攻击可以揭示出某个特定数据点是否属于训练数据集，并潜在地暴露个人敏感信息。本文探讨了与机器学习模型上的会员推断攻击相关的基本统计限制。具体而言，我们首先推导了统治这类攻击的有效性与成功的统计量。然后，我们研究了几种情况，并提供了对这个感兴趣的统计量的上下界。这使得我们能够推导出攻击的准确性与样本数量以及学习模型的其他结构参数之间的关系，在某些情况下，这些参数可以直接根据数据集进行估计。

    Oct, 2023

  • 大型语言模型的事后成员推断的固有挑战

    通过使用简单的词袋分类器，我们发现最近的后续成员推理攻击 (MIAs) 研究中使用的数据集存在显著的分布偏移，这意味着先前报道的高 MIA 性能可能主要归因于这些偏移而不是模型的记忆。为了解决这个问题，我们提出了回归不连续设计 (RDD) 方法来减轻分布偏移。在这种 RDD 设置下评估各种 MIA 方法的性能表现几乎与随机猜测相当，与先前报道的结果截然不同。总之，我们的研究结果凸显了准确衡量 LLM 记忆的挑战，以及在 (后续) 成员推理任务中需要仔细进行实验设计的必要性。

    Jun, 2024

  • 机器学习中的成员推断攻击：一项调查

    本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查，提供了攻击和防御的分类学及其优缺点，并指出了相关领域的研究限制和未来方向，为研究社区提供了参考。

    Mar, 2021

  • 使用邻居比较攻击语言模型的成员推断

    本研究探讨了参考模型攻击在更现实的情况下对数据分布的脆弱性，并提出并评估了领域攻击方法，以提高模型隐私性。

    May, 2023

  • 基于采样的伪似然函数在成员推断攻击中的应用

    该研究提出了一种基于采样的伪似然方法（SaMIA），通过仅使用大型语言模型生成的文本来计算伪似然，以检测数据泄漏，即使没有似然度，SaMIA 的表现与现有的基于似然度的方法相媲美。

    Apr, 2024

  • 大规模多模型实用成员推理攻击：一个试点研究

    利用余弦相似度阈值和弱监督攻击方法，对多模式模型进行成员推断攻击，研究表明 CLIP 模型容易受到攻击，而弱监督攻击方法在低误报率下平均性能提高 17%，至少比基准方法有效率提高 7 倍。

    Sep, 2023

  • 成员推断攻击的数据和模型依赖性

    该论文分析了成员推理攻击的成功因素，发现数据集和训练模型的多个属性共同影响攻击成功率，提出使用这些属性作为正则化器以保护机器学习模型免受攻击。经实验证明，该方法可将攻击准确率降低多达 25％，而不影响机器学习模型的预测效果。

    Feb, 2020

  • 大型语言模型的语义成员推断攻击

    通过利用输入和其扰动的语义内容，我们引入了一种新的方法 —— 语义成员推断攻击（SMIA），从而提高成员推断攻击（MIAs）的性能。我们使用维基百科数据集对 Pythia 和 GPT-Neo 模型家族进行了全面评估，结果表明 SMIA 在 AUC-ROC 方面显著优于现有的 MIAs，例如，与第二好的攻击相比，SMIA 在 Pythia-12B 上实现了 67.39% 的 AUC-ROC，而第二好的攻击仅为 58.90%。

    Jun, 2024