Oct, 2022

句法距离引导的局部自注意力机制

PDF
TL;DR本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。
transformerssyntactic informationexternal syntactic parserself-attentionmachine translation
发现论文，激发创造
  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020

  • 外语语法

    采用领域无关的注意力增强序列到序列模型在一大合成语料库的标注基础上取得了最先进的效果，训练小规模人工标注的数据集时也达到了标准解析器的表现，且较大程度上提高了数据利用率和处理速度。

    Dec, 2014

  • 基于依赖感知自注意力机制的机器翻译增强

    本文研究了将句法知识纳入 Transformer 模型的不同方法，并提出一种新的、无需参数的依赖感知自注意机制，能够提高其翻译质量，特别是在长句子和低资源情况下。作者在 WMT 英德、英土和 WAT 英日翻译任务中展示了每种方法的有效性。

    Sep, 2019

  • 从栏杆到皮埃尔・芬肯：在 Transformer 自注意力中寻找句法

    本文探讨 Transformer NMT 编码器中的多头注意力，在三种源语言中寻找可解释为句法的模式，并针对自注意力中存在的类短语序列自动构建并评估短语结构树，将结果与已有的短语结构树库进行比较。

    Jun, 2019

  • 超越自学习的注意力：使用注意力指导减轻基于 Transformer 的模型中的注意偏差

    基于 Transformer 的模型在软件工程中的源代码建模任务中展示了相当大的潜力，但其仅依赖于自动自注意权重学习机制的限制。我们引入了 SyntaGuid，一种新颖的方法，利用细调的语言模型中注意权重倾向于特定源代码语法标记和抽象语法树元素的观察，以改进模型在各种软件工程任务中的性能。我们评估了 SyntaGuid 的有效性，并证明其在整体性能上优于现有的最先进模型，而无需额外的数据。实验结果显示，SyntaGuid 可以提高整体性能最多 3.25%，并纠正最多 28.3% 的错误预测。我们的工作是第一次尝试在细调过程中引导基于 Transformer 的模型注意关键的源代码标记，突显了提升软件工程中基于 Transformer 的模型的潜力。

    Feb, 2024

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • BERT 中的注意力头是否学会了成分语法？

    本文通过对 BERT 和 RoBERTa 中的 attention heads 进行定量和定性分析，采用句法距离方法从每个头的 attention 权重中提取隐式成分结构语法，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。此外，本文分析了 Fine-tuning 两种任务后 attention heads 的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均 CGI 能力，而自然语言推理任务增加了其能力。最后，我们探讨了 CGI 能力与 QQP 和 MNLI 任务的自然语言理解能力之间的联系。

    Feb, 2021

  • 在 Transformer NMT 中推广源语法知识是不必要的

    本研究旨在通过使用 Transformer 模型和较大的语料库来提高源端句法知识的表征，并利用多任务学习进行数据操纵或使用专用模型组件。提供的结果表明，采用线性树而不是真实依赖得到的增益不是来自于语言知识的增加，而是由于在自注意矩阵上引起的某种简单的正则化效应。

    Oct, 2019

  • 将依存树整合到自注意力机制中的句子表示

    提出了一种依赖转换器的模型，它采用自注意机制与关系注意机制的协同作用来编码句子依存树中节点之间的依赖关系和空间位置关系，并成功注入了语法信息，提高了模型对句子的表示能力和计算效率。

    Mar, 2022

  • 自注意力编码器进行的组成成分句法分析

    通过将 LSTM 编码器替换为自注意力机制，能够提高最先进的判别型成分解析器的性能，特别是当用预训练的字词表示时，而且这种方法在 SPMRL 数据集的大部分语言上的性能优于以前的最佳结果。

    May, 2018