研究线性循环网络在遵守离散时间动力学的情况下，存储可从网络瞬时状态中检索的长时间序列的能力。 计算分布式移位寄存器和随机正交连接矩阵的时间记忆容量。 随着系统规模的增大，这些网络的记忆容量呈比例关系。

Feb, 2004

本文提出了一种递归神经网络的扩展，使用了一种长短期记忆结构的变体。该扩展允许将位于解析树底部的信息存储在内存寄存器（“内存单元”）中，并在解析树的较高位置上使用。这提供了一个解决梯度消失问题并允许网络捕获长距离依赖的方案。实验结果表明，本文方案在斯坦福情感树库上的性能优于传统的神经网络组合。

Mar, 2015

本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

Jul, 2021

该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

本文提出了一种基于自注意力的联想记忆算子（SAM），通过 SAM 可以将个别经历的存储（项目记忆）和它们之间的关系（关系记忆）分离，然后在一个序列模型中将这两种记忆体有机地联系起来，从而实现记忆和关系推理，该模型在各种机器学习任务中具有竞争力的表现，包括几何、图形、强化学习和问题回答等方面。

Feb, 2020

提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

Aug, 2020

本文介绍了一种修订的在线长短时记忆细胞，该细胞运行在浅拓扑上，具有最小的回看期，通过选择最佳门或状态作为其最终输出，比其他递归神经网络更适用于在线高频交易预测任务，如限价单簿的中间价格预测。在两只高流动性的美国和两只不太流动的北欧股票上对其进行了测试。

Apr, 2023

本文提出了一种名为 Rehearsal Memory (RM) 的方法，通过自监督的历史抽样式重复训练，设计了回忆和熟悉度等训练任务来提高对长序列的记忆，为了让记忆关注重要信息，设计了历史抽样器来选择有用的信息片段，通过 bAbI 任务、文本 / 视频问答和推荐等多种测试表明该方法大大提高了长序列推理的效率和精度。

Jun, 2021

本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

Feb, 2016

论文提出了一种基于记忆网络和神经关注机制的机器阅读模拟器，能够更好地处理结构化输入，并结合编码器 - 解码器体系结构，取得了很好效果。

Jan, 2016