EMNLPNov, 2019

重新思考自注意力：朝向神经解析可解释性

PDF
TL;DR本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。
self-attentionnlplabel attention layerconstituency parsingdependency parsing
发现论文，激发创造
  • 跨 NLP 任务的注意力可解释性

    本文旨在通过一系列的 NLP 任务，人工评估实验等方式，全面解释神经网络模型中的注意力机制的可解释性，并证明了注意力的可解释性验证了两种观点。

    Sep, 2019

  • 自注意力编码器进行的组成成分句法分析

    通过将 LSTM 编码器替换为自注意力机制，能够提高最先进的判别型成分解析器的性能，特别是当用预训练的字词表示时，而且这种方法在 SPMRL 数据集的大部分语言上的性能优于以前的最佳结果。

    May, 2018

  • 自注意力归因：解释 Transformer 内部的信息交互

    本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

    Apr, 2020

  • 语言学知识自注意力在语义角色标注中的应用

    本研究提出了一种基于语言学的自我 - 注意力神经网络（LISA），它利用多头自我注意力和跨依存句法分析，词性标注，谓词检测和语义角色标注的多任务学习，无需显式地利用语言特征，只需使用标记作为输入进行处理，从而提高语义角色标注的准确性。

    Apr, 2018

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • 句法距离引导的局部自注意力机制

    本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。

    Oct, 2022

  • 基于增强语法自注意力的语义角色标注

    本文研究了如何有效地将句法知识融入语义角色标注（SRL）任务中，使用不同质量和表示的依赖树的不同编码方法，提出了一种句法增强的自注意模型，并与其他两种强基准方法进行了比较，并使用新发布的深度上下文化词表示进行了实验。实验结果表明，通过正确地融合高质量的句法信息，我们的模型在 CoNLL-2009 数据集的中文 SRL 任务中取得了新的最佳表现。

    Oct, 2019

  • 基于自注意力头的无监督成分句法分析

    本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

    Oct, 2020

  • 揭示 BERT 的黑暗秘密

    本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。

    Aug, 2019

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016