该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

Jun, 2024

通过对图像分类的神经网络进行实验，我们发现神经网络即使在训练数据中只出现了一次，也不经意地会记住独特的特征。我们开发了一个得分来估计模型对独特特征的敏感性，结果表明神经网络对于训练数据中罕见的隐私信息都具有风险。

Feb, 2022

提出了一种新的交替教学方法来减少语言模型在训练集中记忆罕见或独特序列而导致泄漏用户数据的现象，该方法采用多个教师模型对各自独立的训练集进行训练，并以教师模型预测结果作为学生模型的监督信号，实验结果表明这种方法达到了比其他方法更好的隐私保护效果，而当训练数据充足时对整体效果损失很小。

Oct, 2022

通过新的度量衡、对抗攻击以及基于梯度上升和任务算术的两种新的遗忘方法，本研究提供了关于 LLMs 隐私保护和遗忘的新视角，并在大量 NLP 任务上进行了全面的性能评估。

May, 2024

通过对 Pythia 模型套件的记忆行为进行度量和分析，发现中间检查点是模型记忆行为的更好预测因素，同时提供了有关模型和数据记忆得分分布的新颖发现

Apr, 2023

本文提出了一种源于心理学中人类记忆分类的对抗性记忆学习方法，进行神经语言模型的训练数据筛选，以减少其对训练数据中的敏感信息的记忆，并探究其训练样本中的对抗性记忆，从而提供一种可用于测试数据及其生成的文本来源推定的直接证据。

Dec, 2021

通过简化的审计方法，我们展示了最先进的自动语音识别模型中的记忆化现象，并且证明通过梯度剪裁可以减轻记忆化对速度增强训练样本的影响。

Oct, 2023

通过测试效用一系列隐私保护技术来缓解大型语言模型不经意地记忆保密训练数据的风险，实验表明，差分隐私有可靠的隐私保护效果，但是性能代价较大。

Dec, 2022

通过 Bloom 过滤器与 ALL-CAPITAL text 跨越数据记忆的问题，阐述了训练数据的记忆问题与风险，并讨论了针对神经语言模型中数据记忆的潜在替代定义和本质难题。

Oct, 2022

多模态机器学习中的文本到图像模型，如 Stable Diffusion 和 DALL-E 3，以将文本转化为详细图像而变得重要。本文介绍了一种专门针对文本到图像模型的记忆定义，并根据用户期望将其分为三种不同类型。我们对意图记忆和非意图记忆之间的微妙差异进行了详细研究，并强调在模型输出的生成质量和用户隐私之间平衡的重要性。通过使用 Stable Diffusion 模型，我们提供了示例来验证我们的记忆定义并阐明其应用。

Dec, 2023