Apr, 2022

利用 Hard Attention Transformers 进行正式语言识别：来自电路复杂性的视角

PDF
TL;DR本文分析了三种 Transformer 编码器的形式模型，比较它们的自注意力机制：unique hard attention（UHAT）、generalized unique hard attention（GUHAT）和 averaging hard attention（AHAT）。我们发现，UHAT 和 GUHAT Transformer 只能识别 AC$^0$ 复杂性类中的正式语言，而 AHAT 网络可以识别 UHAT 和 GUHAT 不能识别的语言。
transformer encodersself-attention mechanismformal languagesac0 complexity classahat networks
发现论文，激发创造
  • 具有强制注意力的 Transformer 编码器所接受的逻辑语言

    我们研究了可以被 Transformer 编码器识别的形式语言，重点关注了两种自注意机制：UHAT（Unique Hard Attention Transformers）和 AHAT（Average Hard Attention Transformers）。我们展示了 UHAT 编码器可以识别第一阶逻辑中可定义的所有语言，而 AHAT 编码器可以识别加上计数项的逻辑中的所有语言。

    Oct, 2023

  • 平均困难注意力变换器是恒定深度均匀阈值电路

    该论文研究了 Transformers 模型在自然语言处理任务中的应用，并发现它们与常深度门电路之间的关系，通过两个假设（平均难度的注意力和对内部计算相对于输入长度的对数精度）。研究表明，平均难度的注意力 Transformers 可以识别属于复杂度类 TC0 的语言，而对数精度 Transformers 可以识别属于均匀 TC0 类的语言。此外，该论文还指出第一个结果可以扩展为生成均匀电路。

    Aug, 2023

  • 饱和变压器是常深度阈值电路

    这篇论文研究了使用软饱和注意力机制的 Transformer 模型的电路复杂度，证明了其能够被常数深度阈值电路模拟，限制了该模型在形式语言上的能力。

    Jun, 2021

  • 遮蔽硬关注变形器和布尔 RASP 准确识别无星语言

    Transformer 编码器通过硬注意力和严格的未来掩码来识别语言，其所识别的语言类是无星自由语言；添加位置嵌入可以扩展所识别的语言类到其他研究领域。通过布尔 RASP 技术，我们将 Transformer 与一阶逻辑、时间逻辑和代数自动机理论联系起来。

    Oct, 2023

  • 克服自注意力机制的理论限制

    该研究研究了 Transformer 网络在接受依赖于单一输入符号的语言中的限制，并通过使用 PARITY 和 FIRST 语言作为例子，证明了三种克服该限制的方法。

    Feb, 2022

  • 硬件感知的 Transformer 模型用于高效自然语言处理

    通过神经架构搜索，设计了硬件感知的 Transformer 来保证在资源受限的硬件平台上具有低延迟推断的能力，从而在机器翻译任务中显著提高速度和模型效率。

    May, 2020

  • 自注意力网络能够处理有界的分层语言

    证明自注意力网络可以处理具有层次结构的正式语言，例如 Dyck_k，但被证明对于近似自然语言来说过于有限，因此提出了在有限深度内捕获自然语言有界层次结构的 Dyck_(k,D) 子集，并构建了相应的硬注意力网络和软注意力网络。实验表明在此子集上训练的自注意力网络具有很好的泛化能力。

    May, 2021

  • 神经机器翻译的硬编码高斯注意力

    本论文探讨了 Transformer 的多头注意力对于实现高质量翻译的重要性，并基于此开发了一种无需任何学习参数的 ' 硬编码 ' 注意力变量。替换编码器和解码器中所有学习自注意力头部与固定、与输入无关的高斯分布最小程度影响四个不同语言对的 BLEU 得分，但额外硬编码交叉注意力 (将解码器与编码器连接) 会显著降低 BLEU，这提示它比自注意力更重要。通过在仅有一个基于硬编码 Transformer 中添加一个学习交叉注意头部可弥补大部分 BLEU 下降。综合结果揭示了 Transformer 的哪些组件实际上是重要的，这将有助于引导未来工作开发更简单、更高效的基于注意力的模型。

    May, 2020

  • 神经序列模型中自注意力的理论限制

    本文研究了自注意力在建模形式语言方面的计算能力，发现其在处理分层结构时存在强烈的理论限制，但在自然语言处理方面表现卓越。

    Jun, 2019

  • 基于分层注意力机制的高效长文档分类探索

    本研究开发并发布了使用分段编码器，并将其与 Longformer 模型和部分预训练的 HAT 进行比较的完全预训练 HAT 模型，在多个长文档下游分类任务中，我们的最佳 HAT 模型在使用 10-20％ GPU 内存的情况下比同等大小的 Longformer 模型更快地处理文档并实现更好的性能。在消融研究中，发现 HAT 在整个模型中进行跨段上下文信息处理比其他配置的早期或晚期跨段上下文处理性能更好。

    Oct, 2022