本文提出了一种称为 EmbMarker 的嵌入式数字水印方法，可通过在包含触发词的文本嵌入背门等方式，有效地保护嵌入式服务模型的版权，同时减小对原始嵌入的影响，并经过了各种数据集的广泛实验验证。

May, 2023

研究表明，通过在预训练模型中嵌入后门触发器作为水印的方式，可以保护知识产权并避免遗忘现象的发生，同时还提出了一种使用常见单词组合作为后门触发器的方法，并在多个数据集上进行了测试。

Oct, 2022

Embedding as a Service (EaaS) 是一个被广泛采用的解决方案，它提供了用于处理自然语言处理（NLP）中各种下游任务的特征提取功能。然而，之前的研究表明 EaaS 可能容易受到模型提取攻击的影响，为了缓解这一问题，可以通过向文本嵌入添加后门水印，并在发布后验证攻击模型。通过对最近的 EaaS 水印策略 EmbMarker 的分析，我们设计了一种新的 CSE（聚类、选择、淘汰）攻击，它可以去除后门水印并保持嵌入的高效性，表明之前的水印方法可以被攻破。针对这一新的威胁，我们提出了一个新的协议，通过整合多个可能的水印方向，使水印的去除更加困难。我们的防御方法 WARDEN 显著增加了水印的隐蔽性，并经实证表明对抗 CSE 攻击有效。

Mar, 2024

在快速发展的人工智能领域中，保护大型语言模型（LLMs）的知识产权变得越来越关键。我们提出了一种新颖的方法，在 LLMs 中嵌入可学习的语言水印，以追踪和防止模型提取攻击。我们的方法通过向令牌频率分布中引入可控噪声来微妙地修改 LLM 的输出分布，嵌入可统计辨识的可控水印。我们利用统计假设检验和信息理论，特别关注库尔巴克 - 莱布勒散度，有效区分原始分布和修改分布。我们的水印方法在鲁棒性和输出质量之间达到了微妙的平衡，保持了较低的误报率和漏报率，并且保留了 LLM 的原始性能。

Apr, 2024

本研究提出了一种基于水印技术的保护私有语言模型的框架，通过嵌入可被算法识别但人类无法察觉的信号保证模型输出的安全性，并利用解释性 p 值的统计学方法检测水印的敏感性。测试结果表明本方法对于 Open Pretrained Transformer 等大型语言模型的检测效果良好，能够提升模型的鲁棒性和安全性。

Jan, 2023

使用多视图数据构建触发器集，并基于特征学习的角度引入了一种新的神经网络水印技术，名为 MAT，以有效地防御功能窃取攻击，并在各种基准测试中验证了其有效性，超过相关基线模型。

Mar, 2024

利用扩散模型为防止未授权模型分发而合成无限制对抗样本作为触发器集合，通过知识注入而非错误记忆来促进独特的水印行为，并通过优化受保护模型的知识传递属性，无需过于猛烈的决策边界扰动即可将水印行为传递给提取替代物，从而提高对于逃避对手和水印清除攻击的鲁棒性。

Apr, 2024

评估了在文本分类、摘要生成、翻译等任务中，嵌入水印对大语言模型的性能的影响，并发现水印对于多项选择题和短句生成基本没有影响，但对于摘要生成和翻译任务性能下降了 15-20%。这些发现凸显了用户在使用带有水印模型时应该意识到的权衡，并指出未来研究可能改善现有的权衡。

Nov, 2023

本研究论文提出了基于深度模型超参数化和多任务学习理论的自然语言处理模型数字水印框架，该框架采用隐藏触发器并设计了一个新的辅助网络来提高数字水印模型的健壮性和安全性，成功验证了模型所有权以及良好的鲁棒性和安全性。

Aug, 2022

本文提出一种简单而有效的方法，利用多语言预训练语言模型（MPLM）和跨语言上下文化词嵌入对 VLP 进行了调整和适应，以在未见过的语言上具有出色的表现，而无需大量平行语料库。

Jun, 2023