本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

Jun, 2017

本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了 CIFAR100 数据集中存在的重复标签问题。实验结果表明，通过曲率排序可以有效地找到疑似错误标签的样本。

Jul, 2023

通过探索不同类型的过拟合，本研究聚焦于自然模式，发现深度神经网络中的过度记忆现象并提出了一种名为 “干扰过度记忆” 的框架，通过移除或增加高置信度的自然模式来综合地减轻不同类型的过拟合，实验证明该方法在各种训练范式中有效。

Oct, 2023

现代神经网络的成功引发了对记忆和泛化之间关系的研究：过参数化的模型能够很好地进行泛化，尽管它们能够完美地拟合（记忆）完全随机的标签。本文通过对图像分类基准上 ResNet 的记忆度量进行实证计算，全面分析了神经模型大小对记忆能力的影响，结果发现不同模型大小的训练样本表现出意想不到的多样化记忆轨迹：较大模型下大多数样本减少了记忆，而部分样本呈现帽状或者递增型记忆。此外，我们发现知识蒸馏作为一种有效且流行的模型压缩技术，往往抑制记忆，同时提高了泛化能力，尤其是对于记录递增轨迹的示例，蒸馏技术能够有效提高泛化能力。

Oct, 2023

通过推导上限并利用 CIFAR 和 ImageNet 数据集的深度模型进行验证，本文不仅探索了 DNN 中记忆化与输入损失曲率之间的联系，还建立了差分隐私、记忆化和输入损失曲率之间的理论联系，进一步证实了理论预测和实践结果之间的强相关性。

Feb, 2024

基于深度学习和深度神经网络的记忆现象对模型泛化性、安全性和隐私造成了影响，并提出了系统性框架以及评估方法，通过综合文献回顾探索了深度神经网络记忆行为对安全隐私的影响，还介绍了由记忆引起的隐私漏洞，忽略现象，以及它们在噪声标签学习、隐私保护和模型增强等应用中的潜在机制，为加强人工智能发展并解决重要的伦理问题提供了独特的认识。

Jun, 2024

该论文研究了深度生成模型中可能出现的记忆问题，提供了一种衡量记忆现象的方式，并探讨了限制记忆的几种策略。

Jun, 2021

本文研究发现，为了在过量参数化情况下实现 100％ 的准确率，神经网络可以训练出能够完美记忆训练数据的能力，即使在神经元数量要远小于训练样本数量的情况下依旧适用。

Sep, 2019

研究表明，深度学习模型具有记忆整个训练集的倾向，通过对对抗训练（AT）中记忆效应的探索，揭示了模型容量、收敛、泛化和特别是对抗性训练模型的鲁棒过拟合等问题，提出了一种减缓鲁棒过拟合的算法，并通过各种数据集上的广泛实验验证了该算法的有效性。

Jun, 2021

在这项研究中，我们统一了关于机器学习中记忆化的定义和观点，讨论了它们与模型泛化的相互作用以及这些现象对数据隐私的影响，并系统化了允许从各种机器学习学习设置中检测记忆化发生或量化记忆化的方法。最后，我们讨论了记忆化在隐私攻击、差分隐私和对抗性行为者等方面的背景。

Nov, 2023