这篇研究论文描述了大语言模型(LMs)如何通过增加模型容量、重复数据示例次数以及提示模型的上下文数量等因素持续增长来记忆其训练数据的程度。然而，该记忆过程会导致隐私泄露、降低数据质量并且存在不公平性问题，因此有减轻该问题的必要，尤其随着模型的规模持续增长，需要采取积极的对策。

Feb, 2022

研究了大型语言模型的训练和记忆过程，在不同设置下测量了数据集大小、学习率和模型大小对其记忆能力的影响，证明更大的语言模型更快地记忆训练数据，更容易在训练过程中避免过度拟合。同时，分析了不同词性的记忆动态，发现名词和数字是模型记忆单个训练例子的唯一标识符。这些发现有助于深入了解模型变大所带来的真正好处。

May, 2022

通过对Pythia模型套件的记忆行为进行度量和分析，发现中间检查点是模型记忆行为的更好预测因素，同时提供了有关模型和数据记忆得分分布的新颖发现

Apr, 2023

连续预训练中灾难性遗忘现象对于已经经过微调的大规模语言模型的影响及重复问题的挑战。

Jan, 2024

通过引入不同的技术评估语言模型是否在训练过程中看到表格数据，揭示出大型语言模型对流行表格数据的实质性记忆，尽管这种记忆导致过拟合，但在新颖数据集上仍表现出非常优秀的性能，并且在语境中的统计学习能力被发现受到限制。

Apr, 2024

大语言模型（LLMs）在各个领域展示了前所未有的性能，但其特殊行为之一——记忆化——仍缺乏解释，本研究通过多个角度全面探讨记忆化现象及其动态，并通过实验证实了模型大小、连续大小和上下文大小之间的记忆化关系，以及不同记忆化得分下句子的嵌入分布和解码动态，揭示了当模型开始生成记忆化或非记忆化句子时的边界效应，最后通过训练Transformer模型预测不同模型的记忆化，证明了通过上下文预测记忆化的可行性。

May, 2024

我们提出了一个公理系统来定义和量化大型语言模型（LLM）用于语言生成的精确记忆和上下文推理效应，并将这些效应形式化为LLM编码的令牌/词之间的非线性相互作用。实验表明，记忆效应和上下文推理效应的明确区分使得可以直观地检查LLMs编码的详细推理模式。

May, 2024

该研究提出了一种新的、有原则的、高效的方法来估计语言模型中的记忆化，该方法利用经济学中的差异法设计，通过在训练过程中观察模型在一小部分实例上的行为，刻画了模型的记忆化特征，并发现较大模型的记忆化更强、更持久，受数据顺序和学习率的影响，并且较大模型的记忆化趋势可以从较小模型中预测。

Jun, 2024

该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

Jun, 2024

本研究关注大型语言模型在逐字记忆方面的挑战，以及这一现象可能带来的法律和隐私问题。通过在受控环境中继续预训练并注入序列，发现逐字记忆需要非微不足道的重复，并且更高质量的模型检查点更可能进行逐字记忆。研究结果表明，逐字记忆与模型的整体能力密切相关，且现有的去记忆方法往往效果不佳，有可能影响模型质量。

Jul, 2024