该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

介绍一种新的外部记忆网络 -- 异构记忆网络（HMNs），用于解决现有的内存网络在从不同来源利用异构信息方面表现不佳的问题。该方法背景知识元组和历史的对话串都被编码和存储到记忆中，并在译码期间使用门控机制进一步增强了上下文感知性记忆。实验结果表明，与数据驱动的最新任务导向式对话模型相比，使用 HMNs 极大地提高了模型的表现。

Sep, 2019

本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

May, 2016

本文提出了一种通过从多个信息语料库（“外部记忆”）检索增强文档的机制，即 Mixture-Of-Memory Augmentation（MoMA），来改善语言模型的零样本泛化能力，并以一种零样本密集检索环境为例，使用 MoMA 增强强 T5-based retriever 模型。MoMA 在标准 BEIR 基准测试中获得了强的零样本检索准确性，优于寻求从增加模型参数和计算步骤进行泛化的系统，并证明了 Mixture-Of-Memory 的必要性及其学习的好处，同时展示了 MoMA 如何利用插入式存储器在推理时不改变其参数。

Feb, 2023

本文研究了一种层级的记忆网络，其内存以分层的方式组织，通过最大内积搜索（MIPS）来在不需要计算所有查询项的情况下快速进行查询，从而相比于传统的软注意机制和硬注意机制，取得了更好的效果，能在大规模的事实问答任务中使用。

May, 2016

本研究论文提出了一种应对日益复杂任务下增量学习的挑战的方法。通过引入全新的多样化内存选择和生成（DMSG）框架，该框架在图形学习中利用了缓冲选择和内存生成回放的策略来保证知识的一致性和概括性，进而有效地存储和利用长期记忆。实验证明了 DMSG 方法在节点分类任务中的出色性能。

Jun, 2024

本文提出了一种半参数神经机器翻译方法，采用 n-gram 级别的检索方法和表现出色的非参数特性，针对神经网络在训练过程中的参数漂移而提出的而提高网络的鲁棒性的问题，在四种测试数据集上取得了优异的表现，进一步打开了使用非参数方法进行领域自适应的大门。

Feb, 2019

本论文提出了一种基于记忆增强神经网络的多模态轨迹预测方法，该方法可以在复杂场景中安全地规划自主车辆路径，并且通过非参数化的记忆模块，可以不断改进预测效果。

Jun, 2020

我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM 在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。

Oct, 2016

该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

Feb, 2021