Sep, 2024

大规模语言模型成员推断的数量级加速

HTML
PDF
TL;DR本研究解决了大规模语言模型（LLMs）在成员推断攻击中的隐私风险，现有方法依赖多次训练计算开销大的影子模型，导致评估风险的成本高昂。本文提出了一种低成本的成员推断攻击方法，利用小型分位回归模型的集成，以有效判定文档是否属于训练集。实验结果显示，该方法在计算预算仅为现有方法6%的情况下，取得了与最先进方法相当或更好的精度，并在多种模型和数据集上展现了强大的有效性。
发现论文，激发创造
  • 使用成员推断攻击量化掩码语言模型的隐私风险

    使用类似于似然比假设检验的成员推理攻击方法，我们发现面向医疗笔记的掩模语言模型泄漏训练数据的隐私风险非常高，表现为先前攻击的AUC从0.66提高到0.9级别，并且在低误差区域有显着提高：在1％误报率的情况下，攻击效果比先前攻击提高了51倍。

    Mar, 2022

  • 通过自提示校准对精调大型语言模型进行实用的成员推断攻击

    基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的LLMs泄露隐私的成员推断攻击方法。

    Nov, 2023

  • 大型语言模型是否受到成员推断攻击的影响？

    成员推理攻击的大规模评估发现在多种设置中，大型语言模型的预训练数据上的成员推理攻击表现较差，主要原因是庞大数据集和较少训练迭代之间的结合，以及成员和非成员之间存在模糊的边界。我们识别出特定的设置，这些设置中语言模型易受成员推理攻击影响，并证明这种成功可以归因于分布变化，例如成员和非成员从看似相同的领域，但具有不同的时间范围。我们提供了代码和数据，形成了一个统一的基准测试套件，包括所有现有的成员推理攻击方案，以支持未来的研究工作。

    Feb, 2024

  • 潘多拉的白箱：开放式LLM中训练数据泄露的增加

    本研究对开源大型语言模型的隐私攻击进行了系统研究，提出了威胁预训练和微调模型的成员推断攻击方法，并展示了近乎完美的攻击效果，强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。

    Feb, 2024

  • 基于采样的伪似然函数在成员推断攻击中的应用

    该研究提出了一种基于采样的伪似然方法（SaMIA），通过仅使用大型语言模型生成的文本来计算伪似然，以检测数据泄漏，即使没有似然度，SaMIA的表现与现有的基于似然度的方法相媲美。

    Apr, 2024

  • LLM数据推断：你在我的数据集上训练了吗？

    大语言模型在现实世界中的大量使用产生了对公司以未经许可的方式在互联网上训练模型的版权纠纷。本文提出了一种新的数据集推断方法来准确识别用于训练大语言模型的数据集，成功地区分了不同子集的Pile数据集的训练集和测试集，无任何错误的正例。

    Jun, 2024

  • 嘈杂邻居：针对LLMs的高效成员推断攻击

    该研究论文介绍了一种高效的方法，通过在嵌入空间中添加随机噪声，在推理模式下操作目标模型，生成目标样本的“噪声邻居”，以评估LLMs的隐私风险。研究结果表明，该方法与使用影子模型的效果相近，展示了它在实际隐私审计场景中的可用性。

    Jun, 2024

  • 揭示隐私漏洞：以推广数据为目标的LLM对齐成员推理攻击

    该篇论文研究了使用人类偏好数据对人工智能模型进行调整时所存在的隐私问题，并提出了一种新的基于参考的攻击框架 PREMIA（Preference data MIA），同时提供了实证证据表明，与 PPO 模型相比，DPO 模型更易受到成员推断攻击的威胁。这些发现突显了当前对大型语言模型校准的隐私保护实践中的差距。

    Jul, 2024

  • MIA-Tuner：将大型语言模型适应为预训练文本检测器

    本研究解决了大型语言模型（LLMs）在隐私风险和版权问题审核上的缺口，提出了一种新颖的基于指令的成员推断攻击方法MIA-Tuner，通过指导LLMs自身作为更精确的预训练数据检测器，提升检测信心。此外，设计了两项基于指令的安全措施，以缓解隐私风险。实验结果表明，MIA-Tuner将MIA的AUC从0.7显著提高至0.9。

    Aug, 2024

  • 针对上下文学习的成员推断攻击

    本研究解决了上下文学习在适应大型语言模型（LLM）时面临的隐私攻击漏洞问题。我们提出了首个专门针对上下文学习的成员推断攻击方法，结果表明，相比现有的基于概率的攻击，我们的攻击在大多数情况下能准确判断成员状态，准确率可达95%。此外，我们还探讨了组合防御策略以增强隐私保护的可能性。

    Sep, 2024