我们对 Transformer 在序列建模中长、稀疏和复杂内存的逼近性质进行了系统研究，调查了 Transformer 的不同组件（如点积自注意力、位置编码和前馈层）对其表达能力的影响机制，并通过建立显式的逼近率来研究它们的综合效应。我们的研究揭示了 Transformer 中关键参数（如层数和注意力头数）的作用，并为替代架构提供了自然建议。

Feb, 2024

深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

Feb, 2024

本文探讨了 Transformers 在长序列建模中的应用，并提出了一种处理百万级依赖关系的机器学习系统，其中的分布式多头注意力机制可提高 40 倍的计算效率。

Feb, 2023

本研究通过提出 NRNM 模型，对监督序列建模中的长程依赖进行建模，并在动作识别和情感分析两个任务上证明其优良性能。

Aug, 2019

Causal Relation Network (CausalRN) is an MLP sequence modeling architecture that can match Transformers on the copying task, employing key innovations such as exponentially-activated RNs, pre-activation normalization, and providing insights into strong in-context retrieval.

Jun, 2024

本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

Jul, 2019

提出了一种基于树形记忆网络的序列映射模型，用于捕获长期和短期依赖关系，并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。

Mar, 2017

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

Feb, 2016

本文提出了一种名为 NRNM 的非局部循环神经记忆网络，通过自注意机制实现非局部操作，以学习滑动时间记忆块内的全序交互，并以门控的循环方式模拟内存块之间的全局交互来解决序列表示学习中长期依赖建模难题，实验结果表明 NRNM 对于不同类型序列任务的泛化性和有效性优于其他最先进的方法。

Jul, 2022