Mar, 2022

将依存树整合到自注意力机制中的句子表示

PDF
TL;DR提出了一种依赖转换器的模型，它采用自注意机制与关系注意机制的协同作用来编码句子依存树中节点之间的依赖关系和空间位置关系，并成功注入了语法信息，提高了模型对句子的表示能力和计算效率。
parse tree encoderdependency-transformerself-attentionrelation-attentionsentence representation
发现论文，激发创造
  • 基于依赖感知自注意力机制的机器翻译增强

    本文研究了将句法知识纳入 Transformer 模型的不同方法，并提出一种新的、无需参数的依赖感知自注意机制，能够提高其翻译质量，特别是在长句子和低资源情况下。作者在 WMT 英德、英土和 WAT 英日翻译任务中展示了每种方法的有效性。

    Sep, 2019

  • 树形 Transformer：将树形结构集成到自注意力中

    使用自注意力机制来诱导目标树结构，从而产生更好的语言模型，更可解释的注意力分数，并达到实验效果的 Transformer 变种 (Tree Transformer) 的提出。

    Sep, 2019

  • 句法距离引导的局部自注意力机制

    本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。

    Oct, 2022

  • 基于树形结构注意力编码器的句对建模

    本文介绍了一种关注编码器，结合了树状递归神经网络和序列循环神经网络，用于对模拟句子对。我们的关注编码器将 RNN 生成的一个句子的表示用于指导另一个句子的结构编码，评估结果表明，在语义相似度和释义选择方面，我们的编码器优于所有基线，并取得了最佳结果。

    Oct, 2016

  • 使用注意力递归树嵌入句子的学习

    本文提出了一种新的 Attentive Recursive Tree 模型，它可以根据任务动态地定位一个句子中的重要单词，在底向上进行句子嵌入的组成时，AR-Tree 可以内在地强调重要单词。通过一种端到端的加强训练策略，该模型在三个句子理解任务上表现出色。

    Nov, 2018

  • 语法树能帮助预训练 Transformer 提取信息吗？

    本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

    Aug, 2020

  • 基于距离的自注意力网络用于自然语言推理

    本研究提出了一种基于距离的自注意力网络模型，利用简单的距离掩码考虑单词之间的距离，以便在不失去全局信息依赖的情况下建立本地依赖关系，并在 NLI 数据方面表现出良好的性能，同时长文档也有优势；而之前的基于注意力机制的模型，则没有考虑到单词之间的距离。

    Dec, 2017

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 自注意力归因：解释 Transformer 内部的信息交互

    本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

    Apr, 2020

  • 具有潜在树状注意力的神经机器翻译

    我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

    Sep, 2017