通过分析 LLM 指纹，我们展示了即使是简单的分类器也能在训练领域内外的数据中实现非常强大的性能，从而有效区分人类生成的文本和机器生成的文本。

May, 2024

研究社区正在积极开发检测给定文本是有机的还是合成的方法，本文则聚焦于探讨如何对精细调整的语言模型进行指纹识别以确定其来源，并通过实验结果表明，精细调整本身是确定合成文本来源的最有效方法。

Jun, 2021

本文提出了一种基于黑盒指纹识别的版权保护方案，称为 ProFLingo，它能够生成可以代表原始模型独特决策边界特征的对抗性样本，从而建立独特的指纹。该方案通过检验这些对抗性样本在嫌疑模型上的有效性来确定是否来源于原始模型，采用非侵入式方法，既不需要对嫌疑模型的了解，也不需要对基础模型或其训练过程进行修改。据我们所知，我们的方法是针对 LLMs 的第一个黑盒指纹识别技术。

May, 2024

利用转换器结构分析潜在攻击并定义三个不变量项，通过卷积编码器将这些不变量项映射到高斯向量，然后转化为自然图像，生成一只狗图像作为大语言模型的身份指纹，其中狗的外观强烈表明了大语言模型的基础模型。

Dec, 2023

利用特定域数据对大型语言模型进行微调时，存在个人身份信息敏感度的问题。为了解决这一挑战，我们引入了隐私保护语言模型（PPLM），通过有效注入特定领域知识来保护数据隐私。我们的工作提供了模型设计理论分析，并详细介绍了诸如语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。在各种数据集和场景下的广泛实验证实了我们方法的有效性。特别是，正负样本指令微调成为一种有潜力的方法，可以在增强模型知识的同时保护私人数据。我们的工作突显了大型语言模型作为强大隐私保护学习器的潜力。

Oct, 2023

模型合并是一种有前景的轻量级模型增强技术，它不依赖昂贵的计算设备（如 GPU），也不需要收集特定的训练数据。该技术通过编辑不同的上游模型参数，吸收它们的下游任务能力。本文研究了模型合并场景下知识产权（IP）保护方法的鲁棒性，并调查了量化水印和指令指纹等两种最先进的 IP 保护技术，以及各种先进的模型合并技术。实验结果表明，当前的大型语言模型（LLM）水印技术无法在合并模型中存活，而模型指纹技术可以。我们的研究旨在强调在模型 IP 保护技术的鲁棒性评估中应考虑模型合并，从而促进开源 LLM 社区的健康发展。

Apr, 2024

在快速发展的人工智能领域中，保护大型语言模型（LLMs）的知识产权变得越来越关键。我们提出了一种新颖的方法，在 LLMs 中嵌入可学习的语言水印，以追踪和防止模型提取攻击。我们的方法通过向令牌频率分布中引入可控噪声来微妙地修改 LLM 的输出分布，嵌入可统计辨识的可控水印。我们利用统计假设检验和信息理论，特别关注库尔巴克 - 莱布勒散度，有效区分原始分布和修改分布。我们的水印方法在鲁棒性和输出质量之间达到了微妙的平衡，保持了较低的误报率和漏报率，并且保留了 LLM 的原始性能。

Apr, 2024

本文提出了一种名为 “神经钓鱼” 的新型实用数据提取攻击，可以使攻击者从基于用户数据训练的模型中目标和提取敏感或个人身份信息（PII），例如信用卡号码，攻击成功率高达 10%，有时甚至高达 50%。攻击方法仅需要攻击者将数十个看似良性的句子插入训练数据集，对用户数据的结构仅具有模糊的先验假设。

Mar, 2024

通过设计一种新的数据污染攻击，本研究进一步识别了 LLMs 中的安全风险，并提出了一种梯度引导的后门触发器学习方法，以高效地识别对手的触发器，并确保对传统防御的逃避，同时保持内容完整性。

Feb, 2024

指令微调方法能够增强大型语言模型在未知任务上的零样本功能，并对其性能和稳健性进行了评估，发现在处理陌生指令时性能显著下降，而对于关系抽取指令的稳健性较问答指令更差。

Aug, 2023