EMNLPApr, 2020

ETC：在 Transformer 中编码长且结构化的输入

PDF
TL;DR本文介绍了一种新的 Transformer 架构 ——Extended Transformer Construction（ETC），该架构解决了标准 Transformer 架构的两个关键挑战，即扩展输入长度和编码结构化输入，并且通过将全局 - 局部注意力机制与相对位置编码以及对比预测编码（CPC）预训练目标结合使用，实现了对结构化输入的编码和处理，在需要长或结构化输入的四个自然语言数据集上取得了领先的成果。
transformer modelsnatural language processingextended transformer constructionglobal-local attentionpre-training objective
发现论文，激发创造
  • LongT5: 高效的长序列文本转换器

    本文介绍了一种新模型 LongT5，该模型将长输入变换（ETC）的注意力机制和摘要预训练（PEGASUS）的预训练策略整合到可扩展的 T5 架构中，取得了更好的自然语言摘要和问答系统结果。

    Dec, 2021

  • CoLT5: 带有条件计算的更快速的长距离 Transformer

    提出了 CoLT5，它是一种长输入 Transformer 模型，通过采用条件计算来利用重要令牌，取得了比 LongT5 更强的性能，特别适用于长文本。有效地利用了长达 64k 字符的输入，取得了 SCROLLS 基准测试的 SOTA。

    Mar, 2023

  • 层级 Transformer 用于长文档分类

    该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

    Oct, 2019

  • 基于扩展标记分类的电商查询理解的短文本预训练

    本文提出一种名为 ETC 的、针对短文本设计的预训练任务，通过输入生成网络插入标记并训练辨别器来解决搜索查询中蕴含的语境信息不足的问题，并在电子商务领域展示了其有效性。

    Oct, 2022

  • 视觉语言导航的史诗变压器

    本文提出了一种名为 Episodic Transformer (E.T.) 的多模态 Transformer，可解决使用自然语言指令进行交互和导航所面临的挑战。通过采用合成指令来改善训练和决策，使得 E.T. 能够处理历史信息，以实现复合式任务，并在具有挑战性的 ALFRED 基准测试中取得了 38.4% 和 8.5% 的任务成功率。

    May, 2021

  • 通过注意力值压缩输入长度和生成文本

    本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

    Mar, 2023

  • 基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

    该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

    Oct, 2022

  • EIT: 强化交互式变压器

    本文提出了一种新的神经网络架构，即增强交互式 Transformer (EIT)，用于解决自注意机制中的头部衰减问题。我们将传统的多头自注意机制替换为增强的多头注意力机制 (EMHA)，并引入两种交互模型，Inner-Subspace 交互和 Cross-Subspace 交互，以充分利用 EMHA 的映射能力。通过广泛的实验，我们发现 EIT 在多项任务上 (如机器翻译、摘要生成、语法纠正、语言建模和脑疾病自动诊断)，仅仅在模型大小方面有很小的增加就能以优异的性能超越传统模型。

    Dec, 2022

  • LittleBird：高效、更快、更长的问答 Transformer 模型

    提出了一个新模型 LittleBird，它是基于 BigBird 的改进版本，使用 Attention with Linear Biases（ALiBi）的更灵活、高效的位置表示方法，维护了准确性的同时，在速度和内存占用方面进行了优化。实验证明，LittleBird 在各种语言中表现良好，在特定的 KorQuAD2.0 数据集中，在长段落问答任务中取得了高精度

    Oct, 2022

  • Transformer-XL: 超越固定长度上下文的关注式语言模型

    提出了一种名为 Transformer-XL 的神经架构，它能够在语言模型的设定中超越固定长度的依赖关系，并且不会破坏时间上的一致性。通过分段级别的循环机制和一种新颖的位置编码方案，Transformer-XL 不仅能够捕捉更长期的依赖关系，而且还解决了上下文破碎问题。在评估期间，它的速度比普通的 Transformers 要快 1,800 多倍，并且在短序列和长序列上表现更好。实验结果显示，在多个语料库上，Transformer-XL 都比目前的最先进结果表现要好。

    Jan, 2019