本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

Jun, 2017

通过基于分数的逆扩散算法生成的高质量样本提供了证据，表明尽管遭受维度灾难的困扰，用于降噪训练的深度神经网络（DNN）可以学习高维密度。然而，关于训练集记忆化的最近报导引发了一个问题，即这些网络是否正在学习数据的 “真实” 连续密度。在本文中，我们展示了在非重叠的数据集子集上训练的两个降噪 DNN 学习到几乎相同的评分函数，从而学习到相同的密度，并且只需要非常少的训练图像。这种强大的泛化表明 DNN 架构和 / 或训练算法中的强大归纳偏差与数据分布的特性相一致。我们通过对这些内容进行分析来证明这一点，证明了去噪器在适应底层图像的基础上执行了一个收缩操作。对这些基础的检查揭示了轮廓线和均匀图像区域中的振荡谐波结构。我们通过证明即使在训练于低维流形等图像类别的情况下，这些经过训练的去噪器也会生成这种几何自适应谐波表示来表明它们在归纳偏差方面具有偏好。此外，我们还展示了当在已知最优基础为几何自适应谐波的常规图像类别上进行训练时，网络的去噪性能接近最优。

Oct, 2023

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。

Aug, 2018

本文探讨了深度神经网络和各种经典分类器之间的关系，研究发现 k-NN 是唯一能够完美记忆数据的分类器，其余分类器的记忆只有在网络的最后几层。研究还表明，神经网络的记忆和泛化相容互补。

May, 2018

基于深度学习和深度神经网络的记忆现象对模型泛化性、安全性和隐私造成了影响，并提出了系统性框架以及评估方法，通过综合文献回顾探索了深度神经网络记忆行为对安全隐私的影响，还介绍了由记忆引起的隐私漏洞，忽略现象，以及它们在噪声标签学习、隐私保护和模型增强等应用中的潜在机制，为加强人工智能发展并解决重要的伦理问题提供了独特的认识。

Jun, 2024

本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

Nov, 2018

通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。

Jul, 2018

通过几何分析深度神经网络的 memorization 结构及相关特征，发现较深层的 memorization 更为显著，可以通过恢复层权重预防，同时与模型几何结构和 generalization 性能有关。

May, 2021