提出了一种名为基于记忆的时序网络的深度学习模型，具有较强的可解释性，旨在解决传统方法无法捕捉复杂模式或在多重变量中融合信息的问题。

Sep, 2018

本文介绍了一种具有循环注意力模型的神经网络，该模型可以扩展到可能很大的外部存储器，并被应用于各种任务，如（合成）问答和语言建模。同时，本文展示了多个计算步骤（跳数）的关键概念可以提高性能表现。

Mar, 2015

该论文提出了一种用于事件类密集预测任务的低延迟神经网络架构，该架构通过构建分层的时间记忆来在适当的时间尺度上编码内容，并通过基于注意力机制的事件表示将稀疏事件流编码为记忆单元，有效地提高了准确性和性能。

May, 2023

本研究提出了一种深度递归网络模型，即 MemNet，用于图像去噪、超分辨率和 JPEG 去块等图像恢复应用，该模型使用适应性学习过程明确挖掘不变性和连续性，具有优异的性能表现。

Aug, 2017

该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

研究了基于记忆的神经网络在处理具有复杂关系的任务时的能力，提出了一种新的内存模块 RMC，它使用多头点积注意力机制来加强记忆之间的交互，达到了在多个领域的最先进结果。

Jun, 2018

通过引入奇异值理论 (memory theory) 以增强神经网络的长期相关性，Memoria 在处理长文本和记忆力相关任务上显著优于传统的 Transformer 模型。

Oct, 2023

DEEPMEMORY 是一种基于神经网络的序列到序列学习框架，采用非线性转换方法来将输入序列（比如中文句子）转换到目标输出序列（比如翻译成英文），其使用内存的堆叠层存储中间表示并进行读写操作来实现从一种表示到另一种表示的非线性转换，这种方法可以处理机器翻译等领域的非常复杂的序列数据，同时 DEEPMEMORY 可以通过正常的反向传播算法进行训练。

Jun, 2015

本文提出了 Key-Value Memory Networks 应用于多模态设置的方法，以及一种新的键寻址机制，将视频字幕生成问题自然地分解为视觉和语言端，将其作为键 - 值对处理，并在寻址模式下提出了一种递归关注的方法来捕捉语境信息，通过实验发现，这种方法可以提高 BLEU@4，METEOR 得分，并实现了与最先进方法竞争性能。

Nov, 2016

本文介绍了一种结构化记忆，它可以轻松地集成到神经网络中，并基于产品键的设计和访问模式，使用快速准确的最近邻搜索来显着增加架构的容量。这种记忆层可用于处理非常大规模的语言建模任务，并可以提高模型预测准确性并在训练和测试时间内保持计算效率。我们将其插入基于 Transformer 的体系结构的代码中，实验结果表明，仅有 12 层的记忆增强模型优于具有 24 层的基线 Transformer 模型，并且在推理时间上快两倍。

Jul, 2019