大规模语言模型的高昂训练成本使指纹识别模型保护知识产权成为必要，同时确保下游用户和开发者遵守许可条款，本研究提出了一种针对语言模型的指纹识别的试点研究，作为一种非常轻量级的指令调整，以提供模型许可者的身份验证，然而仅在密钥存在时才使语言模型生成特定文本，通过对 11 种常用的语言模型进行测试，结果显示该方法轻巧且不影响模型的正常行为，同时防止了许可者的过度声明，对指纹猜测和参数高效训练具有鲁棒性，并支持与 MIT 许可证类似的多阶段指纹识别。

Jan, 2024

利用转换器结构分析潜在攻击并定义三个不变量项，通过卷积编码器将这些不变量项映射到高斯向量，然后转化为自然图像，生成一只狗图像作为大语言模型的身份指纹，其中狗的外观强烈表明了大语言模型的基础模型。

Dec, 2023

通过分析 LLM 指纹，我们展示了即使是简单的分类器也能在训练领域内外的数据中实现非常强大的性能，从而有效区分人类生成的文本和机器生成的文本。

May, 2024

我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

Mar, 2024

研究社区正在积极开发检测给定文本是有机的还是合成的方法，本文则聚焦于探讨如何对精细调整的语言模型进行指纹识别以确定其来源，并通过实验结果表明，精细调整本身是确定合成文本来源的最有效方法。

Jun, 2021

模型服务系统中的安全性研究：提出 query-efficient 的指纹算法攻击模型提取，准确率和保真度仅有 1% 的差距，提出加入噪音的防御策略可减少 9.8% 的攻击准确率和 4.8% 的保真度。

Jul, 2023

利用特定域数据对大型语言模型进行微调时，存在个人身份信息敏感度的问题。为了解决这一挑战，我们引入了隐私保护语言模型（PPLM），通过有效注入特定领域知识来保护数据隐私。我们的工作提供了模型设计理论分析，并详细介绍了诸如语料库整理、基于惩罚性失真的训练损失和基于指令的微调等技术。在各种数据集和场景下的广泛实验证实了我们方法的有效性。特别是，正负样本指令微调成为一种有潜力的方法，可以在增强模型知识的同时保护私人数据。我们的工作突显了大型语言模型作为强大隐私保护学习器的潜力。

Oct, 2023

介绍了一种用于检测和评估用于大型语言模型的训练数据集中的潜在版权书籍内容的详细框架，并提供了每个内容样本包含的可信度估计。通过模拟实验证实了该框架在识别和解决语言模型训练过程中的内容滥用方面的有效性，同时研究了这些数据集中来自名著的可识别引用语的存在。研究结果对于确保版权材料在语言模型开发中的合理使用具有重要意义，强调了在该领域需要更加透明和负责任的数据管理实践。

Jan, 2024

本研究对开源大型语言模型的隐私攻击进行了系统研究，提出了威胁预训练和微调模型的成员推断攻击方法，并展示了近乎完美的攻击效果，强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。

Feb, 2024

大语言模型（LLMs）在展示其出色的能力的同时，也引发了由于隐私问题和基准数据集泄露所导致的数据污染问题。因此，在预训练阶段检测污染是否有 LLM 在目标文本上进行了预训练变得至关重要。最近的研究关注生成的文本并计算困惑度，但这些都是表面特征而不可靠。本研究提出利用探测技术来检测预训练数据，通过检查模型的内部激活状态。我们的方法简单且有效，并实现了更可靠的预训练数据检测。此外，我们还提出了 ArxivMIA 基准，它包括来自计算机科学和数学类别的 arxiv 摘要。我们的实验证明我们的方法胜过所有基准，实现了 WikiMIA 和 ArxivMIA 的最新性能，并通过额外的实验验证了其有效性。

Jun, 2024