Jan, 2021

注意力可以反映句法结构 (如果你允许)

PDF
TL;DR本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。
transformernlpmultilingual bertdependency syntaxattention patterns
发现论文，激发创造
  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019

  • BERT 中的 Attention 头是否跟踪句法依赖关系？

    本研究探讨预训练变形金刚语言模型中的注意头在多大程度上隐含捕获了句法依赖关系，并使用两种方法提取每层 / 头 attention 权重中的隐含依赖关系，比较它们与基准 UD 树的差异。结果表明，这些模型有一些跟踪特定依赖类型的专业注意头，但没有表现出比浅显的基准模型更好的整体解析能力。同时，注意权重直接分析不能揭示 BERT-Style 模型已知的语法知识。

    Nov, 2019

  • BERT 模型看什么？BERT Attention 机制分析

    本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾语、名词的限定词和介词的宾语。

    Jun, 2019

  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020

  • 从栏杆到皮埃尔・芬肯：在 Transformer 自注意力中寻找句法

    本文探讨 Transformer NMT 编码器中的多头注意力，在三种源语言中寻找可解释为句法的模式，并针对自注意力中存在的类短语序列自动构建并评估短语结构树，将结果与已有的短语结构树库进行比较。

    Jun, 2019

  • 代码语言模型中注意力的自然性再探

    通过分析 CodeBERT 中的注意力分布和转换表示，本研究发现除了注意力权重之外，输入的缩放变换规范更好地捕捉到语法结构，从而揭示了 CodeBERT 嵌入语法代码属性的特征，为深入理解神经代码模型以及在程序分析中开发更具解释性的模型和有效使用注意力机制奠定了基础。

    Nov, 2023

  • Transformer 如何学习主题结构：迈向机制理解

    本文研究 transformers 学习的机制和语义结构，揭示了 embedding 层和 self-attention 层如何编码语义结构，具体表现为同主题单词之间的嵌入内积和自注意力相对较高。

    Mar, 2023

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 基于 Transformer 的机器翻译中固定编码器自注意力模式

    使用简单固定的关注模式替换 Transformer 中编码器层的大多数注意力头对神经机器翻译的质量没有影响，并且在资源匮乏的情况下，甚至可以将 BLEU 评分提高 3 个点。

    Feb, 2020