Apr, 2024
你合并了我的模型吗？关于大型语言模型知识产权保护方法对抗模型合并的稳定性
Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging
Tianshuo Cong, Delong Ran, Zesen Liu, Xinlei He, Jinyuan Liu...
TL;DR模型合并是一种有前景的轻量级模型增强技术，它不依赖昂贵的计算设备（如 GPU），也不需要收集特定的训练数据。该技术通过编辑不同的上游模型参数，吸收它们的下游任务能力。本文研究了模型合并场景下知识产权（IP）保护方法的鲁棒性，并调查了量化水印和指令指纹等两种最先进的 IP 保护技术，以及各种先进的模型合并技术。实验结果表明，当前的大型语言模型（LLM）水印技术无法在合并模型中存活，而模型指纹技术可以。我们的研究旨在强调在模型 IP 保护技术的鲁棒性评估中应考虑模型合并，从而促进开源 LLM 社区的健康发展。