本文提供了理论洞见，证明在有限精度设置中，递归神经网络可以有效地生成有界分层语言，反映了自然语言句法的脚手架，最优秀的结果使用 O (k^（m/2））存储器（隐藏单元）来生成这些语言，但我们证明了具有 O (m log k) 隐藏单元的 RNN 足以生成这些语言，这是存储器的指数降低；最后，我们表明没有算法，即使有无限的计算，也不能足以在 o (m log k) 隐藏单元中发挥作用。

Oct, 2020

本文研究了自注意力在建模形式语言方面的计算能力，发现其在处理分层结构时存在强烈的理论限制，但在自然语言处理方面表现卓越。

Jun, 2019

本文系统评估了标准循环神经网络在动态计数和编码分层表示方面的能力，研究结果表明 LSTM 网络可以通过模拟简单的实时 k 计数机学习识别平衡的括号语言和多个括号语言的洗牌，并且单层 LSTM 通过识别 Dyck-1 语言的任务表现良好，但是不能掌握类似于堆栈机制的 Dyck-2 语言任务的性能。

Jun, 2019

本文介绍了三种增强记忆的循环神经网络 (MARNNs)，通过一系列简单的语言建模任务来探索其能力，可以识别具有层级结构的一般性 Dyck 语言，并通过模拟下推自动机来学习带有多达六个圆括号对的 Dyck 语言，此外还包括两个确定性回文语言和字符串反转转导任务。本文还强调了增强记忆模型相对于简单 RNN 的建模能力增强程度，同时，对这些模型的局限性进行了一些思考。

Nov, 2019

我们提出了堆栈注意力：一种集成堆栈的注意力操作符，其灵感来源于堆栈与上下文无关语言（CFLs）的理论联系，以解决标准注意力无法识别某些句法结构的局限性。我们提出了两种变种：一种与确定性下推自动机（PDAs）相关，一种基于非确定性 PDAs，使得 transformers 能够识别任意 CFLs。我们证明，具有堆栈注意力的 transformers 在学习 CFLs 方面非常有效，能够在理论上具有最大的解析困难的 CFL 上取得强大的结果。我们还证明，堆栈注意力在受约束参数预算下在自然语言建模中更加有效，并包括机器翻译方面的结果。

Oct, 2023

本文分析了三种 Transformer 编码器的形式模型，比较它们的自注意力机制：unique hard attention（UHAT）、generalized unique hard attention（GUHAT）和 averaging hard attention（AHAT）。我们发现，UHAT 和 GUHAT Transformer 只能识别 AC$^0$ 复杂性类中的正式语言，而 AHAT 网络可以识别 UHAT 和 GUHAT 不能识别的语言。

Apr, 2022

通过使用双曲注意网络，将双曲几何约束引入神经网络的参数，提高了神经网络在处理具有层级结构和幂律分布数据时的泛化能力。

May, 2018

通过理论分析高次多项式注意力机制的表达能力，我们指出高次多项式对于放大大值和区分数据集方面的更高效性，为在注意力机制中引入更高次多项式以捕捉复杂的语言关联提供了理论依据。

Oct, 2023

该研究通过理论预测和系统实验，发现了自注意力网络中网络深度和宽度之间的深度有效性和深度低效性之间的宽度依赖性转变，并提供了在给定尺寸的自我注意网络中深度和宽度的最佳分配的明确量化建议。

Jun, 2020

本研究提出了一种新的方法来理解自我注意网络：我们展示了它们的输出可以分解为若干关注头跨层序列的操作所涉及的小项相加，通过这种分解，我们证明了自我注意具有强烈的归纳偏差，具体表现为 “令牌均匀性”；实验证明，不同变体的标准转换器体系结构存在收敛现象。

Mar, 2021