Jun, 2019

BERT 模型看什么？BERT Attention 机制分析

PDF
TL;DR本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾语、名词的限定词和介词的宾语。
bertpre-trained neural networksattention mechanismssyntaxlinguistic notions
发现论文，激发创造
  • BERT 的视野有多远：基于距离的聚类和注意力分析

    通过无监督聚类，我们明确将注意力热图聚类为显著不同的模式，并进一步通过分析研究了它们的对应功能，此外，我们提出的特征可以用于解释和校准 Transformer 模型中的不同注意头。

    Nov, 2020

  • 注意力可以反映句法结构 (如果你允许)

    本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

    Jan, 2021

  • 揭示 BERT 的黑暗秘密

    本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。

    Aug, 2019

  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020

  • 拓扑 BERT：将注意力转化为拓扑以用于自然语言处理

    本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。

    Jun, 2022

  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019

  • 代码语言模型中注意力的自然性再探

    通过分析 CodeBERT 中的注意力分布和转换表示，本研究发现除了注意力权重之外，输入的缩放变换规范更好地捕捉到语法结构，从而揭示了 CodeBERT 嵌入语法代码属性的特征，为深入理解神经代码模型以及在程序分析中开发更具解释性的模型和有效使用注意力机制奠定了基础。

    Nov, 2023

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • BERT 中的注意力头是否学会了成分语法？

    本文通过对 BERT 和 RoBERTa 中的 attention heads 进行定量和定性分析，采用句法距离方法从每个头的 attention 权重中提取隐式成分结构语法，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。此外，本文分析了 Fine-tuning 两种任务后 attention heads 的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均 CGI 能力，而自然语言推理任务增加了其能力。最后，我们探讨了 CGI 能力与 QQP 和 MNLI 任务的自然语言理解能力之间的联系。

    Feb, 2021

  • BERT 中代码注意力的探索研究

    研究表明，将标识符用于代码克隆检测中，可以增加 Transformers 预训练语言模型的性能，对代码进行特定的表示，而不是应用于自然语言处理的通用表示。

    Apr, 2022