Aug, 2024

MIA-Tuner：将大型语言模型适应为预训练文本检测器

HTML
PDF
TL;DR本研究解决了大型语言模型（LLMs）在隐私风险和版权问题审核上的缺口，提出了一种新颖的基于指令的成员推断攻击方法MIA-Tuner，通过指导LLMs自身作为更精确的预训练数据检测器，提升检测信心。此外，设计了两项基于指令的安全措施，以缓解隐私风险。实验结果表明，MIA-Tuner将MIA的AUC从0.7显著提高至0.9。
发现论文，激发创造
  • 大型语言模型上的用户推理攻击

    研究表明，通过对用户数据进行细调的大型语言模型（LLMs）存在用户推测攻击的隐私风险，攻击者可以通过仅需少量用户样本和黑盒访问细调后的LLMs来推断用户的数据是否被用于细调，通过限制单个用户的细调样本数量可以减少攻击效果，但也会降低细调数据总量。

    Oct, 2023

  • 通过自提示校准对精调大型语言模型进行实用的成员推断攻击

    基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的LLMs泄露隐私的成员推断攻击方法。

    Nov, 2023

  • 大型语言模型是否受到成员推断攻击的影响？

    成员推理攻击的大规模评估发现在多种设置中，大型语言模型的预训练数据上的成员推理攻击表现较差，主要原因是庞大数据集和较少训练迭代之间的结合，以及成员和非成员之间存在模糊的边界。我们识别出特定的设置，这些设置中语言模型易受成员推理攻击影响，并证明这种成功可以归因于分布变化，例如成员和非成员从看似相同的领域，但具有不同的时间范围。我们提供了代码和数据，形成了一个统一的基准测试套件，包括所有现有的成员推理攻击方案，以支持未来的研究工作。

    Feb, 2024

  • 潘多拉的白箱：开放式LLM中训练数据泄露的增加

    本研究对开源大型语言模型的隐私攻击进行了系统研究，提出了威胁预训练和微调模型的成员推断攻击方法，并展示了近乎完美的攻击效果，强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。

    Feb, 2024

  • 基于采样的伪似然函数在成员推断攻击中的应用

    该研究提出了一种基于采样的伪似然方法（SaMIA），通过仅使用大型语言模型生成的文本来计算伪似然，以检测数据泄漏，即使没有似然度，SaMIA的表现与现有的基于似然度的方法相媲美。

    Apr, 2024

  • LLM数据推断：你在我的数据集上训练了吗？

    大语言模型在现实世界中的大量使用产生了对公司以未经许可的方式在互联网上训练模型的版权纠纷。本文提出了一种新的数据集推断方法来准确识别用于训练大语言模型的数据集，成功地区分了不同子集的Pile数据集的训练集和测试集，无任何错误的正例。

    Jun, 2024

  • ReCaLL：基于相对条件对数似然的成员推断

    通过条件语言建模开展一个新的成员推理攻击，称为ReCaLL，以检测大型语言模型的预训练数据，并展示其在WikiMIA数据集上能够达到最先进的性能。

    Jun, 2024

  • 大型语言模型的事后成员推断的固有挑战

    通过使用简单的词袋分类器，我们发现最近的后续成员推理攻击(MIAs)研究中使用的数据集存在显著的分布偏移，这意味着先前报道的高MIA性能可能主要归因于这些偏移而不是模型的记忆。为了解决这个问题，我们提出了回归不连续设计(RDD)方法来减轻分布偏移。在这种RDD设置下评估各种MIA方法的性能表现几乎与随机猜测相当，与先前报道的结果截然不同。总之，我们的研究结果凸显了准确衡量LLM记忆的挑战，以及在(后续)成员推理任务中需要仔细进行实验设计的必要性。

    Jun, 2024

  • 通过惊讶标记的自适应预训练数据检测用于大型语言模型

    该研究解决了大型语言模型在隐私、安全和版权方面的问题，提出了一种自适应的预训练数据检测方法，降低了对模型逐字记忆能力的依赖。研究发现，该方法通过识别输入中的“惊讶标记”有效提升了检测性能，在各类实验中相比现有方法表现出一致的改进，最高提升达29.5%。

    Jul, 2024

  • 大规模语言模型成员推断的数量级加速

    本研究解决了大规模语言模型（LLMs）在成员推断攻击中的隐私风险，现有方法依赖多次训练计算开销大的影子模型，导致评估风险的成本高昂。本文提出了一种低成本的成员推断攻击方法，利用小型分位回归模型的集成，以有效判定文档是否属于训练集。实验结果显示，该方法在计算预算仅为现有方法6%的情况下，取得了与最先进方法相当或更好的精度，并在多种模型和数据集上展现了强大的有效性。

    Sep, 2024