- 背诵、重建、回忆：语言模型中的记忆作为多层次现象
以分类方式解析记忆化过程，并构建预测模型，发现不同因素根据分类方式对记忆化概率产生不同影响。
- 大型语言模型的事实记忆尺度定律
通过分析大型语言模型（LLM）事实知识和 LLM 记忆不同类型事实的行为的扩展规律，我们发现 LLMs 的事实知识容量与模型规模和训练周期呈线性和负指数关系，认为 LLMs 用于记忆全部公共事实在普通预训练设置下几乎不切实际。与此同时，我们 - 揭开潜在记忆：评估大型语言模型中的数据泄露和记忆模式
该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据 - 从无条件扩散模型中提取训练数据
扩散概率模型的记忆化、理论分析、条件记忆化、数据提取、Surrogate condItional Data Extraction (SIDE)
- 做个金鱼，不要死记硬背！减轻生成型 LLMs 中的死记硬背现象
通过引入一种名为金鱼损失的微妙修改，我们减轻了大型语言模型记忆和重复其训练数据所带来的隐私和版权风险。我们进行了大规模实验，训练了数十亿规模的 Llama-2 模型，并证明了可提取的记忆量显著减少，同时对下游基准测试的影响几乎没有。
- 深度学习中的记忆现象：一份调查
基于深度学习和深度神经网络的记忆现象对模型泛化性、安全性和隐私造成了影响，并提出了系统性框架以及评估方法，通过综合文献回顾探索了深度神经网络记忆行为对安全隐私的影响，还介绍了由记忆引起的隐私漏洞，忽略现象，以及它们在噪声标签学习、隐私保护和 - 找到 NeMo: 在扩散模型中定位负责记忆的神经元
通过定位跨注意力层中的神经元，我们引入了 NeMo 方法来解决扩散模型中的个别数据样本的记忆问题，从而避免了在推理过程中复制训练数据，增加了生成输出的多样性，并减少了私密和受版权保护数据的泄露，进而实现了更负责任的扩散模型的部署。
- 扩散模型中的记忆图像共享一个可定位和删除的子空间
大规模的文本到图像扩散模型在从文本输入中生成高质量图像方面表现出色，然而研究表明它们倾向于记忆和复制训练数据，引起了版权侵犯和隐私问题。本文针对扩散模型中的记忆问题，通过剪枝特定子空间的权重提出了一种后处理方法，避免了破坏训练或推理过程，从 - MemControl：通过自动参数选择缓解医学扩散模型中的记忆化
在医学图像生成领域，我们提出了一个双层优化框架，通过利用记忆和生成质量指标作为奖励，指导自动参数选择，并成功地确定了最佳参数集来满足生成和记忆权衡。我们的实验结果表明，我们的框架在更新模型参数的同时，将模型参数的数量降至仅为 0.019%， - 语言语模与记忆：版权合规的质量和特定性
采用欧洲法律为例，本研究提出了一种系统分析方法， quantifying potential copyright infringements in large language models (LLMs)。通过使用 160 个字符的阈值和模 - 马赛克记忆：大语言模型中模糊复制的版权陷阱
基于模糊复制品的版权陷阱在大型语言模型的记忆方面具有挑战性，这对 LLM 的记忆研究提出了一个前所未有的混淆因素，并对（精确的）数据去重作为隐私保护技术的有效性提出了质疑。
- 任意维度球形数据的 NTK 最小特征值的界限
本研究论文提出了一种新方法，通过使用半球变换，基于数据的共线性而不是数据分布和高维设置，计算神经切线核的最小特征值的界限，这对神经网络优化和记忆分析具有重要意义。
- 大型语言模型记忆机制的多角度分析
大语言模型（LLMs）在各个领域展示了前所未有的性能，但其特殊行为之一 —— 记忆化 —— 仍缺乏解释，本研究通过多个角度全面探讨记忆化现象及其动态，并通过实验证实了模型大小、连续大小和上下文大小之间的记忆化关系，以及不同记忆化得分下句子的 - ICML对于每个 (文本序列) 的独立性：改进大型语言模型中的记忆数据遗忘
通过新的度量衡、对抗攻击以及基于梯度上升和任务算术的两种新的遗忘方法，本研究提供了关于 LLMs 隐私保护和遗忘的新视角，并在大量 NLP 任务上进行了全面的性能评估。
- 使用日本报纸和付费墙对领域特定预训练语言模型的记忆量进行量化
使用限定语料库的日本报纸文章预训练领域特定的 GPT-2 模型，研究发现领域特定的预训练语言模型在生成过程中有大规模的复制粘贴行为，而且记忆与重复、模型大小和提示长度等因素相关。
- 透过对抗性压缩的视角重新思考 LLM 记忆化
大型语言模型的记忆化问题对于数据使用提出了重要疑问，本文提出了一种用于评估记忆化的度量标准 Adversarial Compression Ratio (ACR)，通过对比模型生成字符串和原始字符串的长度，探讨了记忆化的界定和局限，并展示了 - 大型语言模型中表格数据的记忆与学习
通过引入不同的技术评估语言模型是否在训练过程中看到表格数据，揭示出大型语言模型对流行表格数据的实质性记忆，尽管这种记忆导致过拟合，但在新颖数据集上仍表现出非常优秀的性能，并且在语境中的统计学习能力被发现受到限制。
- 变换器在不同深度下能学到什么？对序列学习任务的案例研究
我们研究了具有不同深度的 transformer 架构的能力，通过设计了一套新的序列学习任务系统地评估和理解深度对 transformer 在记忆、推理、泛化和上下文泛化方面的影响。我们发现只有一个注意力层的 transformer 在记忆 - 语言模型中的段落记忆定位
我们研究了语言模型中记忆和背诵整个段落时使用的权重和机制是否可以被定位，我们发现记忆分布在多个层和模型组件中，而记忆段落的渐变具有可辨别的空间模式，较低模型层的渐变比非记忆示例的渐变更大。此外，只需通过微调高渐变权重即可取消对记忆示例的学习 - 大象不会忘记：测试语言模型对表格数据的记忆能力
通过进行定性测试和引入多种技术来评估数据污染和记忆化的程度，我们的研究揭示了大型语言模型在表格数据上的训练暴露的问题，并强调了确保机器学习任务中数据完整性的重要性。