BERT 中的 Attention 头是否跟踪句法依赖关系？

Nov, 2019

BERT 中的 Attention 头是否跟踪句法依赖关系？

Do Attention Heads in BERT Track Syntactic Dependencies?

Phu Mon Htut, Jason Phang, Shikha Bordia, Samuel R. Bowman

TL;DR本研究探讨预训练变形金刚语言模型中的注意头在多大程度上隐含捕获了句法依赖关系，并使用两种方法提取每层 / 头 attention 权重中的隐含依赖关系，比较它们与基准 UD 树的差异。结果表明，这些模型有一些跟踪特定依赖类型的专业注意头，但没有表现出比浅显的基准模型更好的整体解析能力。同时，注意权重直接分析不能揭示 BERT-Style 模型已知的语法知识。

Abstract

We investigate the extent to which individual attention heads in pretrained transformer language models, such as BERT and RoBERTa, implicitly capture →

transformer language models attention heads syntactic dependency relations implicit dependency relations self-attention heads

发现论文，激发创造

注意力可以反映句法结构 (如果你允许)

本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

Jan, 2021

BERT 中的注意力头是否学会了成分语法？

本文通过对 BERT 和 RoBERTa 中的 attention heads 进行定量和定性分析，采用句法距离方法从每个头的 attention 权重中提取隐式成分结构语法，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。此外，本文分析了 Fine-tuning 两种任务后 attention heads 的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均 CGI 能力，而自然语言推理任务增加了其能力。最后，我们探讨了 CGI 能力与 QQP 和 MNLI 任务的自然语言理解能力之间的联系。

Feb, 2021

BERT 模型看什么？BERT Attention 机制分析

本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾语、名词的限定词和介词的宾语。

Jun, 2019

语法树能帮助预训练 Transformer 提取信息吗？

本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

Aug, 2020

语法增强的预训练模型

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

从栏杆到皮埃尔・芬肯：在 Transformer 自注意力中寻找句法

本文探讨 Transformer NMT 编码器中的多头注意力，在三种源语言中寻找可解释为句法的模式，并针对自注意力中存在的类短语序列自动构建并评估短语结构树，将结果与已有的短语结构树库进行比较。

Jun, 2019

利用语法感知的局部注意力提升 BERT 性能

本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

Dec, 2020

识别语义引导头以理解上下文学习

通过对注意力头的运行进行详细分析，我们发现特定的注意力头在上下文学习的能力中具有重要的语义联系，从而推进了我们对 transformers 中注意力头运行的复杂操作和大语言模型上下文学习的新洞察。

Feb, 2024

将依存树整合到自注意力机制中的句子表示

提出了一种依赖转换器的模型，它采用自注意机制与关系注意机制的协同作用来编码句子依存树中节点之间的依赖关系和空间位置关系，并成功注入了语法信息，提高了模型对句子的表示能力和计算效率。

Mar, 2022

Heads 假设：一种统一的统计方法，用于理解 BERT 中的多头注意力

提出一种新的方法，通过假设检验来形式化简单而有效的分数，从而分类定位 transformer-based model 的 attention heads 中的不同角色，可以更准确地回答一些有关 BERT 模型的问题，如多种功能角色在同一 attention head 中的共存，attention heads 在不同层之间的分布以及特定 NLP 任务对这些功能角色的影响。

Jan, 2021