本文研究发现，为了在过量参数化情况下实现 100％ 的准确率，神经网络可以训练出能够完美记忆训练数据的能力，即使在神经元数量要远小于训练样本数量的情况下依旧适用。

Sep, 2019

本文提出了一种基于元学习的能量记忆模型，通过使用任意神经结构作为能量模型并快速将图案存储在其权重中，实现了对合成和自然数据的压缩记忆，并在重构误差和压缩率方面优于现有的记忆系统。

Oct, 2019

本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

May, 2016

本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络，该模型不仅适用于监督性问题，还能在强化学习等多种学习问题中取得较好的表现。

Jul, 2019

本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

Jun, 2017

本文研究了一类神经联想记忆的设计问题，该记忆可以在大量对抗性错误的情况下储存大量的消息向量，并通过迭代错误纠正的方法从网络中获取正确的消息向量，设计思路为将学习和召回阶段分别映射到正方形字典的学习和迭代纠错卷积码的错误纠正任务中。

Nov, 2016

研究了一种关联记忆模型，建立了它与深度学习中神经网络的简单对应关系。这个模型可以存储并可靠地检索超过网络神经元数量的模式，可以应用到深度学习中的高次多项式的激活函数，实现或改进手写数字字符识别等任务。

Jun, 2016

本文提出了如何采用神经网络实现 engrams 记忆支持结构。采用自动编码器和潜藏神经空间实现压缩存储和信息检索，进而实现神经空间中的信息预测和基于概念神经元的稀疏记忆实现。同时列举了跨学科的研究挑战和问题。

Mar, 2023

该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

现代神经网络的成功引发了对记忆和泛化之间关系的研究：过参数化的模型能够很好地进行泛化，尽管它们能够完美地拟合（记忆）完全随机的标签。本文通过对图像分类基准上 ResNet 的记忆度量进行实证计算，全面分析了神经模型大小对记忆能力的影响，结果发现不同模型大小的训练样本表现出意想不到的多样化记忆轨迹：较大模型下大多数样本减少了记忆，而部分样本呈现帽状或者递增型记忆。此外，我们发现知识蒸馏作为一种有效且流行的模型压缩技术，往往抑制记忆，同时提高了泛化能力，尤其是对于记录递增轨迹的示例，蒸馏技术能够有效提高泛化能力。

Oct, 2023