Oct, 2023

具有强制注意力的 Transformer 编码器所接受的逻辑语言

PDF
TL;DR我们研究了可以被 Transformer 编码器识别的形式语言，重点关注了两种自注意机制：UHAT（Unique Hard Attention Transformers）和 AHAT（Average Hard Attention Transformers）。我们展示了 UHAT 编码器可以识别第一阶逻辑中可定义的所有语言，而 AHAT 编码器可以识别加上计数项的逻辑中的所有语言。
formal languagestransformer encodersuhatahatexpressive power
发现论文，激发创造
  • 利用 Hard Attention Transformers 进行正式语言识别：来自电路复杂性的视角

    本文分析了三种 Transformer 编码器的形式模型，比较它们的自注意力机制：unique hard attention（UHAT）、generalized unique hard attention（GUHAT）和 averaging hard attention（AHAT）。我们发现，UHAT 和 GUHAT Transformer 只能识别 AC$^0$ 复杂性类中的正式语言，而 AHAT 网络可以识别 UHAT 和 GUHAT 不能识别的语言。

    Apr, 2022

  • 平均困难注意力变换器是恒定深度均匀阈值电路

    该论文研究了 Transformers 模型在自然语言处理任务中的应用，并发现它们与常深度门电路之间的关系，通过两个假设（平均难度的注意力和对内部计算相对于输入长度的对数精度）。研究表明，平均难度的注意力 Transformers 可以识别属于复杂度类 TC0 的语言，而对数精度 Transformers 可以识别属于均匀 TC0 类的语言。此外，该论文还指出第一个结果可以扩展为生成均匀电路。

    Aug, 2023

  • 硬件感知的 Transformer 模型用于高效自然语言处理

    通过神经架构搜索，设计了硬件感知的 Transformer 来保证在资源受限的硬件平台上具有低延迟推断的能力，从而在机器翻译任务中显著提高速度和模型效率。

    May, 2020

  • 饱和变压器是常深度阈值电路

    这篇论文研究了使用软饱和注意力机制的 Transformer 模型的电路复杂度，证明了其能够被常数深度阈值电路模拟，限制了该模型在形式语言上的能力。

    Jun, 2021

  • 遮蔽硬关注变形器和布尔 RASP 准确识别无星语言

    Transformer 编码器通过硬注意力和严格的未来掩码来识别语言，其所识别的语言类是无星自由语言；添加位置嵌入可以扩展所识别的语言类到其他研究领域。通过布尔 RASP 技术，我们将 Transformer 与一阶逻辑、时间逻辑和代数自动机理论联系起来。

    Oct, 2023

  • 模块化混合自回归传感器

    本文提出了一种模块化混合自回归转录器（MHAT），该转录器具有结构上分离的标签和空白解码器，涉及共享的声学编码器，因此在语音识别中具有方便的文本自适应性和内部语言模型。在大量实验中该方法的内部语言模型具有高效性，因此在 Google 大规模生产数据中，使用 MHAT 相比 400K 小时的 HAT 训练，进行文本自适应后，无需语言融合可获得高达 12.4％的相对字错率减少和 21.5％的相对字错率减少与语言融合。

    Oct, 2022

  • 基于分层注意力机制的高效长文档分类探索

    本研究开发并发布了使用分段编码器，并将其与 Longformer 模型和部分预训练的 HAT 进行比较的完全预训练 HAT 模型，在多个长文档下游分类任务中，我们的最佳 HAT 模型在使用 10-20％ GPU 内存的情况下比同等大小的 Longformer 模型更快地处理文档并实现更好的性能。在消融研究中，发现 HAT 在整个模型中进行跨段上下文信息处理比其他配置的早期或晚期跨段上下文处理性能更好。

    Oct, 2022

  • 克服自注意力机制的理论限制

    该研究研究了 Transformer 网络在接受依赖于单一输入符号的语言中的限制，并通过使用 PARITY 和 FIRST 语言作为例子，证明了三种克服该限制的方法。

    Feb, 2022

  • HAT：用于图像恢复的混合注意力变换器

    Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

    Sep, 2023

  • 利用计算注意力预测人类注意力

    本研究提出了人类注意力变压器（HAT），它是一种单一模型，预测两种形式的注意力控制，并通过使用一种新颖的基于转换器的架构和一种简化的凹面视网膜，实现了类似于人类动态视觉工作记忆的时空意识，同时避免了离散化固定目光。HAT 在计算注意力方面设定了新方向，并在各种注意力需求场景中更好地预测人类行为，具有广泛的适用性。

    Mar, 2023