保护 EaaS 中的大型语言模型版权 —— 通过后门水印技术

ACLMay, 2023

保护 EaaS 中的大型语言模型版权 —— 通过后门水印技术

Are You Copying My Model? Protecting the Copyright of Large Language Models for EaaS via Backdoor Watermark

Wenjun Peng, Jingwei Yi, Fangzhao Wu, Shangxi Wu, Bin Zhu...

TL;DR本文提出了一种称为 EmbMarker 的嵌入式数字水印方法，可通过在包含触发词的文本嵌入背门等方式，有效地保护嵌入式服务模型的版权，同时减小对原始嵌入的影响，并经过了各种数据集的广泛实验验证。

Abstract

large language models (LLMs) have demonstrated powerful capabilities in both text understanding and generation. Companies have begun to offer Embedding as a Service (EaaS) based on these LLMs, which can benefit various natural language processing (NLP) tasks for customers. However, pre

large language models embedding as a service model extraction attacks embedding watermark copyright

发现论文，激发创造

为多模式嵌入服务创建水印视觉语言预训练模型

我们提出了一种安全而强大的基于后门的嵌入水印方法，名为 VLPMarker，它利用嵌入正交转换来有效地将触发器注入到 VLPs 中，实现高质量版权验证并对模型性能产生最小影响。

Nov, 2023

WARDEN：多向背门数字水印用于嵌入式服务版权保护

Embedding as a Service (EaaS) 是一个被广泛采用的解决方案，它提供了用于处理自然语言处理（NLP）中各种下游任务的特征提取功能。然而，之前的研究表明 EaaS 可能容易受到模型提取攻击的影响，为了缓解这一问题，可以通过向文本嵌入添加后门水印，并在发布后验证攻击模型。通过对最近的 EaaS 水印策略 EmbMarker 的分析，我们设计了一种新的 CSE（聚类、选择、淘汰）攻击，它可以去除后门水印并保持嵌入的高效性，表明之前的水印方法可以被攻破。针对这一新的威胁，我们提出了一个新的协议，通过整合多个可能的水印方向，使水印的去除更加困难。我们的防御方法 WARDEN 显著增加了水印的隐蔽性，并经实证表明对抗 CSE 攻击有效。

Mar, 2024

使用后门技术对预训练语言模型进行水印处理

研究表明，通过在预训练模型中嵌入后门触发器作为水印的方式，可以保护知识产权并避免遗忘现象的发生，同时还提出了一种使用常见单词组合作为后门触发器的方法，并在多个数据集上进行了测试。

Oct, 2022

可学习的语言水印：对大型语言模型的模型提取攻击进行追踪

在快速发展的人工智能领域中，保护大型语言模型（LLMs）的知识产权变得越来越关键。我们提出了一种新颖的方法，在 LLMs 中嵌入可学习的语言水印，以追踪和防止模型提取攻击。我们的方法通过向令牌频率分布中引入可控噪声来微妙地修改 LLM 的输出分布，嵌入可统计辨识的可控水印。我们利用统计假设检验和信息理论，特别关注库尔巴克 - 莱布勒散度，有效区分原始分布和修改分布。我们的水印方法在鲁棒性和输出质量之间达到了微妙的平衡，保持了较低的误报率和漏报率，并且保留了 LLM 的原始性能。

Apr, 2024

大型语言模型的水印

本研究提出了一种基于水印技术的保护私有语言模型的框架，通过嵌入可被算法识别但人类无法察觉的信号保证模型输出的安全性，并利用解释性 p 值的统计学方法检测水印的敏感性。测试结果表明本方法对于 Open Pretrained Transformer 等大型语言模型的检测效果良好，能够提升模型的鲁棒性和安全性。

Jan, 2023

多语言语言模型上的文本嵌入逆向攻击

通过研究多语言逆向嵌入攻击，发现多语言模型比单语言模型更容易受到逆向攻击，这突出了需要进一步研究和增强 NLP 安全领域的防御措施。

Jan, 2024

可靠的模型数字水印技术：在保持逃避性能的同时防御盗窃

利用扩散模型为防止未授权模型分发而合成无限制对抗样本作为触发器集合，通过知识注入而非错误记忆来促进独特的水印行为，并通过优化受保护模型的知识传递属性，无需过于猛烈的决策边界扰动即可将水印行为传递给提取替代物，从而提高对于逃避对手和水印清除攻击的鲁棒性。

Apr, 2024

大型语言模型水印的性能权衡

评估了在文本分类、摘要生成、翻译等任务中，嵌入水印对大语言模型的性能的影响，并发现水印对于多项选择题和短句生成基本没有影响，但对于摘要生成和翻译任务性能下降了 15-20%。这些发现凸显了用户在使用带有水印模型时应该意识到的权衡，并指出未来研究可能改善现有的权衡。

Nov, 2023

利用其优势攻击 LLM 水印

通过对现有 LLM 水印系统的攻击研究，提出了一套实用准则，用于生成和检测 LLM 水印，旨在解决水印系统在保留质量、鲁棒性和公共检测 API 等方面所面临的各种攻击问题。

Feb, 2024

EmMark：用于嵌入式量化大型语言模型的强韧水印保护知识产权

EmMark 是一种保护资源受限边缘设备上嵌入式大型语言模型的知识产权的新型水印框架，通过查询水印模型权重和匹配插入的签名来验证所有者身份，通过选择策略性的水印权重参数，在保持模型质量的同时确保稳健性。通过对 OPT 和 LLaMA-2 系列模型的广泛评估，EmMark 展示了其保真度，在保持模型性能的情况下实现了 100% 的水印提取成功率，并展示了对水印移除和伪造攻击的抵抗能力。

Feb, 2024