Hufu: 通过置换等变性实现预训练 Transformers 的跨模态水印系统

Mar, 2024

Hufu: 通过置换等变性实现预训练 Transformers 的跨模态水印系统

Hufu: A Modality-Agnositc Watermarking System for Pre-Trained Transformers via Permutation Equivariance

Hengyuan Xu, Liyao Xiang, Xingjun Ma, Borui Yang, Baochun Li

TL;DRHufu 是一种不依赖特定任务和样本触发的模态无关型水印系统，利用 Transformer 的置换等变性特性，在预训练模型上通过对特定置换的数据样本微调来嵌入水印，保证了嵌入模型在正常使用和触发置换输入条件下的权重不产生干扰，从而在下游任务中保持高保真度。实验证明 Hufu 在满足水印需求方面具有卓越优势，包括效果、效率、保真度和鲁棒性，显示出在各种 Transformer 模型中作为统一的所有权验证服务的巨大潜力。

Abstract

With the blossom of deep learning models and services, it has become an imperative concern to safeguard the valuable model parameters from being stolen. watermarking is considered an important tool for ownership

deep learning models watermarking ownership verification transformer-based models modality-agnostic

发现论文，激发创造

大规模变形器的功能不变性水印

该研究探索具有几乎没有计算成本的水印技术，适用于非盲白盒设置，在保持模型性能的同时将唯一标识符嵌入到模型中，通过利用模型的不变性生成功能上等的副本，从而保护大型模型的完整性。

Oct, 2023

REFIT: 面向有限数据的深度学习系统统一去水印框架

本文介绍了一种有效的 REFIT 去水印框架，利用经过 fine-tuning 的权重来消除深度神经网络中的水印标记，同时有两种技术来减少去水印所需的带标签数据量，并展示了多种水印嵌入方案。

Nov, 2019

HuRef: 大型语言模型的人类可阅读指纹

利用转换器结构分析潜在攻击并定义三个不变量项，通过卷积编码器将这些不变量项映射到高斯向量，然后转化为自然图像，生成一只狗图像作为大语言模型的身份指纹，其中狗的外观强烈表明了大语言模型的基础模型。

Dec, 2023

DeepHider: 基于多任务学习的隐蔽 NLP 水印框架

本研究论文提出了基于深度模型超参数化和多任务学习理论的自然语言处理模型数字水印框架，该框架采用隐藏触发器并设计了一个新的辅助网络来提高数字水印模型的健壮性和安全性，成功验证了模型所有权以及良好的鲁棒性和安全性。

Aug, 2022

可靠的模型数字水印技术：在保持逃避性能的同时防御盗窃

利用扩散模型为防止未授权模型分发而合成无限制对抗样本作为触发器集合，通过知识注入而非错误记忆来促进独特的水印行为，并通过优化受保护模型的知识传递属性，无需过于猛烈的决策边界扰动即可将水印行为传递给提取替代物，从而提高对于逃避对手和水印清除攻击的鲁棒性。

Apr, 2024

无条件图像生成模型的统一高绑定水印

通过使用两阶段统一的高绑定效果水印验证机制，我们提出了一种对无条件图像生成模型进行版权保护和数据验证的方法，可以在使用模型输出图像的情况下几乎实现零误报率的验证工作，而且可以跨不同类型的模型实现数据窃取验证。

Oct, 2023

PTW：预训练图像生成器的关键调整水印

本文提出了用于 Deepfakes 检测的 Pivotal Tuning Watermarking (PTW) 方法，它可以更快地嵌入比现有方法更长的水印代码而且不需要任何的训练数据，然而我们的研究揭示了当发生攻击者拥有生成器参数的情况时，嵌入水印的方式并不是完全可靠的.

Apr, 2023

量子纠缠数字水印抵御模型抽取攻击

本文提出一种名为 EWE 的恒定水印嵌入技术，该技术将水印紧密嵌入到训练任务中，促使模型同时学习正常输入和此类水印，并在测试时表现优异，可实现在 100 次以下查询成功地断言模型属于自己。

Feb, 2020

深度神经网络的数字水印技术

本文提出了一种深度神经网络数字水印技术，可用于深度神经网络的所有权授权。我们定义了嵌入深度神经网络数字水印的要求、嵌入情况和攻击类型，并提出了一种嵌入参数规则器的通用框架，最后通过实验证明我们的框架可以在深度神经网络的训练中嵌入数字水印，并在精调和参数修剪后保留所有权编码。

Feb, 2018

大型语言模型的水印

本研究提出了一种基于水印技术的保护私有语言模型的框架，通过嵌入可被算法识别但人类无法察觉的信号保证模型输出的安全性，并利用解释性 p 值的统计学方法检测水印的敏感性。测试结果表明本方法对于 Open Pretrained Transformer 等大型语言模型的检测效果良好，能够提升模型的鲁棒性和安全性。

Jan, 2023