本文介绍了神经图灵机的概念及其与外部存储器资源的耦合，通过注意力过程交互，与图灵机或冯・诺伊曼体系结构相似，但可在端到端上进行微分，从而使其能够通过梯度下降进行高效训练。初步结果表明神经图灵机能够从输入和输出示例中推断出简单算法，如复制，排序和关联回忆。

Oct, 2014

本研究通过提出多种不同 memory 的 Neural Turing Machines (NTM) 来改进传统线性存储的 NTM 的缺陷，实验证明新的结构有助于提高模型收敛速度和预测精度。

Oct, 2015

本研究提出了一种名为神经随机访问机（Neural Random Access Machine）的神经网络架构，通过反向传播从输入输出示例中训练模型。实验结果表明，该模型能够学习解决需要指针操作和解引用的算法任务，并可以对像链表和二叉树这样的简单数据结构进行操作。

Nov, 2015

本研究通过使用带有外部存储器的神经图灵机，并提供相应的接口来扩展模型的能力，研究了使用离散接口（包括记忆带、输入带和输出带），通过强化学习方法训练神经网络来解决简单算法任务的可行性。我们的接口足够表达模型的图灵完备性。

May, 2015

本文提出了一种名为 “TARDIS” 的新型记忆增强神经网络模型，利用记忆构建起到过去的虫洞连接，有效地缓解了梯度消失问题，提高了学习效率，并在不同的长期依赖任务中获得了竞争性结果。

Jan, 2017

介绍了 Active Long Term Memory Networks (A-LTM) 模型，该模型能够在序贯多任务深度学习过程中保留以前学习的知识，同时获得新的知识，利用 distillation loss 来主动维护以前学习的信息，并赋予隐藏层向新的多任务目标优化的自由，结果表明 A-LTM 策略可以维持高精度的视角识别，适应复杂的知识领域。

Jun, 2016

通过合成任务，我们研究了生成式语言模型（例如 GPT-2）能否按顺序或随机访问其记忆，并发现记忆重述和置换等技术提高了随机访问能力，进而在问答任务中取得了显着的改进。

Mar, 2024

本文提出了 LieTransformer，这是一种由 LieSelfAttention 层组成的网络结构，可以处理不同类型的 Lie 群及其离散子群的不变性，并通过实验表现出一定的竞争力，可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。

Dec, 2020

我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM 在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。

Oct, 2016

该论文提出了神经逻辑机（NLM）这种结合神经网络和逻辑编程的神经符号架构用于归纳学习和逻辑推理，在小规模排序等任务上进行训练后，可以推广到大规模任务并在如家庭树和排序等任务中取得了优异表现。

Apr, 2019