数据污染：从记忆到利用

ACLMar, 2022

Data Contamination: From Memorization to Exploitation

Inbal Magar, Roy Schwartz

TL;DR本研究根据预训练语言模型在联合语料库上进行分析，发现在一些情况下存在信息的利用，但在其他情况下，模型只是纯粹地记住了数据，但并没有利用学到的知识，这两种情况受到了多重因素的影响，如污染数据的数量和模型的大小，在区分语言理解和数据利用方面，对于大规模的互联网语料库的分析具有重要意义。

Abstract

pretrained language models are typically trained on massive web-based datasets, which are often "contaminated" with downstream test sets. It is not clear to what extent models exploit the contaminated data for downstream tasks. We present a principled method to study this question. We

pretrained language models bert web-based datasets memorization data exploitation

发现论文，激发创造

探究预训练语言模型的数据污染

本文研究了语言模型在预训练阶段遭受数据污染的影响，探索了文本污染和真实数据污染对模型性能的影响，调查了不同下游任务中污染的重复效应，并指出了当前 LLM 报告中关于污染定义的局限性和不足之处。研究结果为了解数据污染对语言模型的影响提供了新的见解，并强调在 LLM 研究中进行独立、全面的污染评估的必要性。

Jan, 2024

预训练语言模型中的训练数据提取：综述

本研究首次对预训练语言模型（PLMs）的训练数据抽取问题进行综述，回顾预备知识并提出多种记忆定义的分类，总结攻击和防御方法，详细介绍几项定量研究的实证结果，并在此基础上提出未来的研究方向。

May, 2023

评估语言模型代码生成能力时的污染量量化

该研究综合研究了大型语言模型在代码生成任务中的数据污染问题，分析了常见代码生成基准测试与预训练语料之间的重叠程度，并揭示了类似训练解决方案出现时模型性能显著提高的现象，同时分析了模型大小、问题难度和问题长度等因素对模型记忆和泛化的影响。

Mar, 2024

记忆化 VS 泛化：量化自然语言处理性能评估中的数据泄漏

利用公共数据集来评估自然语言处理（NLP）中最先进方法的有效性和普适性时，训练和测试数据集之间的重叠会导致结果被高估，为了评估这些方法在实际场景中的性能，我们发现在用于评估 NLP 任务的几个公开数据集中，存在训练数据泄漏到测试数据中的情况，对此进行研究以评估泄漏对模型记忆与泛化能力的影响。

Feb, 2021

数据污染能够跨越语言障碍

开发大型语言模型的不透明性引起了关于潜在的训练数据污染的担忧。我们提出了一种基于跨语言的深层污染形式，可以欺骗传统的检测方法。我们还探讨了跨语言污染在解释语言模型的工作机制和提升多语言能力方面的潜在用途。

Jun, 2024

揭开潜在记忆：评估大型语言模型中的数据泄露和记忆模式

该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

Jun, 2024

重新思考以重新表述的样本为基础的语言模型基准和污染问题

大型语言模型的数据污染问题及其对应的检查与净化方法

Nov, 2023

通过困惑度估计污染情况：量化语言模型评估中的记忆效应

最近的研究显示在大规模语言模型的训练语料中普遍存在数据污染问题，而现有的污染分析方法需要访问完整的训练数据，这常常限制了对这些模型的严格审计和准确评估。本文提出了一种新的方法来量化数据污染，通过困惑度来衡量污染程度，相关分析显示近期基础模型在流行的阅读理解和摘要化数据中存在显著的记忆化现象，而多项选择数据的污染程度较低。

Sep, 2023

在黑盒语言模型中证明测试集污染

通过无需预训练数据或模型权重的方法，我们可以提供对语言模型测试集污染的可证明保证，通过对典型排序的基准数据集的似然性进行比较，我们的测试能够可靠地证明测试集污染的情况。在五个常见的公开可访问的语言模型中，我们的测试发现很少有普遍污染的证据。

Oct, 2023

时间视角下的数据污染

大型语言模型的数据污染问题及对基准测试的影响进行了全面纵向分析，结果表明数据污染现象显著存在，这项研究为研究现代模型中数据污染问题的严格分析奠定了基础，并提出了在大型语言模型时代进行基准测试的最佳实践和未来步骤。

Oct, 2023