Digger: 大型语言模型训练中侵权内容的检测

Jan, 2024

Digger: 大型语言模型训练中侵权内容的检测

Digger: Detecting Copyright Content Mis-usage in Large Language Model Training

Haodong Li, Gelei Deng, Yi Liu, Kailong Wang, Yuekang Li...

TL;DR介绍了一种用于检测和评估用于大型语言模型的训练数据集中的潜在版权书籍内容的详细框架，并提供了每个内容样本包含的可信度估计。通过模拟实验证实了该框架在识别和解决语言模型训练过程中的内容滥用方面的有效性，同时研究了这些数据集中来自名著的可识别引用语的存在。研究结果对于确保版权材料在语言模型开发中的合理使用具有重要意义，强调了在该领域需要更加透明和负责任的数据管理实践。

Abstract

pre-training, which utilizes extensive and varied datasets, is a critical factor in the success of large language models (LLMs) across numerous applications. However, the detailed makeup of these datasets is ofte

pre-training large language models data security copyrighted materials ethical use

发现论文，激发创造

大型语言模型的版权陷阱

利用版权陷阱检测大型语言模型中的版权材料，通过研究版权保护的内容的公平使用和训练模型中的内容是否可被检测，提出了一种实验设计，并发现较长的序列经过重复多次可以可靠地检测出来，并通过研究序列出现次数及困惑度，以及考虑上下文的方法进一步改善了检测能力。

Feb, 2024

侵权与大型语言模型

本研究通过对语言模型的逐字记忆进行探索，重点关注版权文字的再分发可能性，通过对一系列热门图书和编码问题进行实验，提供了个人估计的语言模型再分发这些材料的程度。总体而言，本研究强调了进一步研究的必要性，以及对版权法规遵守的潜在影响和未来自然语言处理发展的潜在影响。

Oct, 2023

DE-COP：检测语言模型训练数据中的版权内容

我们提出了 DE-COP 方法，通过向语言模型提出包含直接引文和释义的多项选择题，来确定受版权保护的内容是否包含在训练中。我们构建了 BookTection 基准测试集，其中包含了 165 本在模型训练截止日期之前和之后出版的书籍摘录及其释义。我们的实验结果显示，DE-COP 方法在具有 logits 可用的模型上比之前的最佳方法的检测性能（AUC）提高了 9.6%。此外，DE-COP 方法在完全黑盒模型上的检测可疑书籍的平均准确率为 72%，而之前的方法只能达到约 4% 的准确率。

Feb, 2024

SHIELD：LLM 文本生成中版权合规的评估与防御策略

当前大型语言模型存在版权侵权问题，相关挑战包括版权合规评估、鲁棒性防御以及生成版权文本的有效防御机制。本文介绍了一个数据集用于评估方法、测试攻击策略，并提出了轻量级、实时的防御机制以确保大型语言模型的安全合法使用。实验证明，当前大型语言模型存在生成版权文本的问题，而越狱攻击会显著增加生成的版权文本量。我们提出的防御机制通过有效拒绝恶意请求，显著减少了大型语言模型生成的版权文本量。代码公开可用于该链接网址。

Jun, 2024

语言语模与记忆：版权合规的质量和特定性

采用欧洲法律为例，本研究提出了一种系统分析方法， quantifying potential copyright infringements in large language models (LLMs)。通过使用 160 个字符的阈值和模糊文本匹配算法，研究分析了指导微调模型在真实终端用户场景中的行为和特征。该研究结果发现在几种主流的 LLMs 中对版权合规、行为特征和适当拒绝方面表现出巨大差异。

May, 2024

LLM 数据推断：你在我的数据集上训练了吗？

大语言模型在现实世界中的大量使用产生了对公司以未经许可的方式在互联网上训练模型的版权纠纷。本文提出了一种新的数据集推断方法来准确识别用于训练大语言模型的数据集，成功地区分了不同子集的 Pile 数据集的训练集和测试集，无任何错误的正例。

Jun, 2024

大语言模型的预训练数据检测

通过 Min-K% Prob 方法，我们研究了大语言模型的预训练数据检测问题，引入了 WIKIMIA 动态基准和一个简单的假设，达到了 7.4% 的改进。我们将该方法应用于版权图书检测和受污染下游示例检测，发现它是一种始终有效的解决方案。

Oct, 2023

大型语言模型训练数据集中的代码许可侵权初探

大语言模型的训练是否会侵犯代码许可证？是否有可以安全使用来训练这些模型的可用数据集而不违反这些许可证呢？通过 53 个训练于文件级代码的大语言模型的研究，我们发现每个数据集都存在许可证一致性问题。因此，我们建议研究人员和社区都应优先发展和采用最佳实践来创建和管理数据集。

Mar, 2024

评估语言模型的版权下架方法

本文介绍了对语言模型版权撤回方法的可行性和副作用的首次评估，并提出了 CoTaEval 评估框架，以评估版权撤回方法的有效性、对模型保留非受版权限制的事实性知识的影响，以及模型在保持整体效用和效率方面的表现。通过添加系统提示、解码时的过滤干预和去学习方法等几种策略的研究，我们的发现表明，在所有指标上没有测试的方法表现出色，这表明在这个独特的问题设置中还有重要的研究空间，并暗示现行政策提议中可能存在未解决的挑战。

Jun, 2024

对预训练数据检测的语言模型探究

大语言模型（LLMs）在展示其出色的能力的同时，也引发了由于隐私问题和基准数据集泄露所导致的数据污染问题。因此，在预训练阶段检测污染是否有 LLM 在目标文本上进行了预训练变得至关重要。最近的研究关注生成的文本并计算困惑度，但这些都是表面特征而不可靠。本研究提出利用探测技术来检测预训练数据，通过检查模型的内部激活状态。我们的方法简单且有效，并实现了更可靠的预训练数据检测。此外，我们还提出了 ArxivMIA 基准，它包括来自计算机科学和数学类别的 arxiv 摘要。我们的实验证明我们的方法胜过所有基准，实现了 WikiMIA 和 ArxivMIA 的最新性能，并通过额外的实验验证了其有效性。

Jun, 2024