本研究提出了一种基于多重网格结构的卷积神经网络，能够在不同尺度空间上操作输入和输出，实现任务的动态路由和内部注意力机制，以及通过逐级概括将上下文信息融合到网络中。在分类和语义分割等多项任务中得到了相对较好的表现表明，相对于传统的基于单一网格的卷积神经网络结构，基于多重网格的设计方案更加高效且灵活。

Nov, 2016

该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

我们提出了一种简便的无矩阵神经网络结构用于多重网格方法。该结构简单到可以在不到五十行的代码中实现，但包含许多不同的多重网格求解器。我们认为，固定的神经网络没有密集层不能实现高效的迭代方法。因此，标准的训练协议不能生成竞争优势的求解器。为了克服这个困难，我们使用参数共享和层序列化。所得到的网络可以在数以千计未知元的线性问题上进行训练，并在百万未知元的问题上保持其效率。从数值线性代数网络的训练角度来看，它对应于找到几何多重网格方法的最佳平滑器。我们在几个二阶椭圆方程上演示了我们的方法。对于测试的线性系统，与基本线性多重网格方法的 Jacobi 平滑器相比，我们得到的误差传播矩阵的谱半径较小，是其 2 到 5 倍。

Feb, 2024

本文研究了一种层级的记忆网络，其内存以分层的方式组织，通过最大内积搜索（MIPS）来在不需要计算所有查询项的情况下快速进行查询，从而相比于传统的软注意机制和硬注意机制，取得了更好的效果，能在大规模的事实问答任务中使用。

May, 2016

本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

Jul, 2021

研究了基于记忆的神经网络在处理具有复杂关系的任务时的能力，提出了一种新的内存模块 RMC，它使用多头点积注意力机制来加强记忆之间的交互，达到了在多个领域的最先进结果。

Jun, 2018

该研究提出一种深度生成模型，在表示学习中采用了注意机制和大型外部记忆来捕捉局部详细信息，具有变分自编码贝叶斯方法的数据似然度上限，以及学习高级不变表示的非对称识别网络。实验结果表明，记忆单元可显着提高 DGMs 的性能，并在各种任务中达到最先进的结果。

Feb, 2016

本文介绍了一种具有循环注意力模型的神经网络，该模型可以扩展到可能很大的外部存储器，并被应用于各种任务，如（合成）问答和语言建模。同时，本文展示了多个计算步骤（跳数）的关键概念可以提高性能表现。

Mar, 2015

本文介绍了 Grid Long Short-Term Memory，这是一种由 LSTM 单元组成的多维网格网络，可用于向量、序列或图像等更高维的数据。该网络在现有深度 LSTM 架构中的不同之处在于单元不仅在网络层之间连接，也连接在数据的时空维度上，提供了一种统一的使用 LSTM 进行深层次和序列计算的方法。我们将模型应用于 15 位整数加法和序列记忆等算法任务，发现其能够显著优于标准 LSTM。我们还给出了两个实证任务的结果。2D Grid LSTM 在维基百科字符预测基准测试中达到了 1.47 位 / 字符，这是神经方法中的最佳结果。此外，我们使用 Grid LSTM 定义了一种新的二维翻译模型 Reencoder，并表明其在中英翻译任务上优于基于短语的参考系统。

Jul, 2015

提出了一种称为 Memory-Gated Recurrent Networks 的新颖递归网络结构，用于提取复杂的多元时间序列数据中的关联性，并通过全面的模拟和实证实验证明了其应用优越性。

Dec, 2020