EMNLPOct, 2023

使用权重量化对 LLMs 添加数字水印

PDF
TL;DR这篇论文提出了一种新颖的水印策略，通过在大型语言模型的量化过程中植入水印来保护模型权重，以避免恶意使用违反开源大型语言模型的许可证。该水印只在使用 fp32 模式的模型中起作用，并在将模型量化为 int8 时保持隐藏，使用户只能推理模型而无法进一步对模型进行监督微调。我们成功地将水印嵌入开源大型语言模型的权重中，包括 GPT-Neo 和 LLaMA。希望我们提出的方法能够为保护大型语言模型权重在大型语言模型应用时提供潜在方向。
large language modelswatermarking strategyquantization processlicense violationmodel protection
发现论文，激发创造
  • 大型语言模型的水印

    本研究提出了一种基于水印技术的保护私有语言模型的框架，通过嵌入可被算法识别但人类无法察觉的信号保证模型输出的安全性，并利用解释性 p 值的统计学方法检测水印的敏感性。测试结果表明本方法对于 Open Pretrained Transformer 等大型语言模型的检测效果良好，能够提升模型的鲁棒性和安全性。

    Jan, 2023

  • 可学习的语言水印：对大型语言模型的模型提取攻击进行追踪

    在快速发展的人工智能领域中，保护大型语言模型（LLMs）的知识产权变得越来越关键。我们提出了一种新颖的方法，在 LLMs 中嵌入可学习的语言水印，以追踪和防止模型提取攻击。我们的方法通过向令牌频率分布中引入可控噪声来微妙地修改 LLM 的输出分布，嵌入可统计辨识的可控水印。我们利用统计假设检验和信息理论，特别关注库尔巴克 - 莱布勒散度，有效区分原始分布和修改分布。我们的水印方法在鲁棒性和输出质量之间达到了微妙的平衡，保持了较低的误报率和漏报率，并且保留了 LLM 的原始性能。

    Apr, 2024

  • 大型语言模型水印的性能权衡

    评估了在文本分类、摘要生成、翻译等任务中，嵌入水印对大语言模型的性能的影响，并发现水印对于多项选择题和短句生成基本没有影响，但对于摘要生成和翻译任务性能下降了 15-20%。这些发现凸显了用户在使用带有水印模型时应该意识到的权衡，并指出未来研究可能改善现有的权衡。

    Nov, 2023

  • 利用混合整数规划进行大型语言模型水印窃取

    大型语言模型水印方案及其鲁棒性研究

    May, 2024

  • 大型语言模型的自适应文本水印

    该论文提出了一种自适应水印策略来解决大语言模型生成高质量水印文本并保持强大安全性、稳健性以及在没有先验知识的情况下检测水印的能力的问题。

    Jan, 2024

  • WaterJudge：在为大语言模型加水印时实现质量检测与权衡

    通过比较评估的灵活自然语言生成评估框架，本研究提出了一个简单的分析框架，用于评估特定水印设置引起的生成文本质量降低，以找到平衡性能和易检测性的最佳水印操作点。该方法应用于两个不同的摘要系统和一个翻译系统，实现了任务内和跨任务的模型分析。

    Mar, 2024

  • 辨识带水印的大型语言模型的基准

    通过分析输出 token 和 logit 的分布，提出了一套基线算法来识别广泛使用的水印方案在大型语言模型中的存在和使用，并考虑了各种情况下的鉴别度和识别机制的权衡。同时，正式阐明了在大型语言模型和水印检测方面的特定问题。

    May, 2023

  • 大型语言模型的语义不变鲁棒水印

    我们提出了一种语义不变的大型语言模型水印方法，该方法在保证攻击鲁棒性和安全鲁棒性的基础上，通过利用另一个嵌入式大型语言模型生成语义嵌入，将其转化为水印逻辑。我们的实验证明了该方法在语义不变的设置下具有很强的攻击鲁棒性，并且水印具有充分的安全鲁棒性。

    Oct, 2023

  • 大型语言模型的私有水印

    我们提出了第一种私有水印算法，通过使用两个不同的神经网络进行水印生成和检测，扩展了当前的文本水印算法，而不是在两个阶段都使用相同的密钥，实现了高效准确地检测网络，并且对生成和检测速度影响小。

    Jul, 2023

  • 利用 LLM 量化

    利用量化技术减少大型语言模型（LLM）的内存使用，但本文首次从安全角度研究了量化技术的负面影响，揭示了广泛使用的量化方法可能被利用以产生有害的量化 LLM，从而欺骗用户部署恶意量化模型。

    May, 2024