EMNLPApr, 2021

探索 BERT Token 表达在句子探测结果中的作用

PDF
TL;DR本文从 BERT 的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现 BERT 倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。
bertlinguistic analysistoken representationsprobing tasksattribution methods
发现论文，激发创造
  • 打开西门子：深入探讨 BERT 的语言知识

    本文探讨了 BERT 对句法层次结构、位置信息以及自注意力向量的编码，并发现 BERT 在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明 BERT 的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

    Jun, 2019

  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019

  • BERT 对韵律学习了什么？

    本研究采用了一系列实验，探究了 BERT 模型在不同层次上的语言表征，结果显示它主要依赖句法和语义信息来捕捉音调重音的相关信息。

    Apr, 2023

  • 探究上下文词向量的句子结构学习

    研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

    May, 2019

  • BERT 上语法信息编码的演进

    本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

    Jan, 2021

  • 通过线性结构探测研究变压器句子嵌入的语义子空间

    以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

    Oct, 2023

  • BERT 模型看什么？BERT Attention 机制分析

    本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾语、名词的限定词和介词的宾语。

    Jun, 2019

  • BERT Fine-tuning 中嵌入向量发生了什么？

    研究表明，微调 BERT 模型会显著影响其顶部层的表示，尤其是依赖解析涉及模型的大部分，而 SQuAD 和 MNLI 涉及的则较浅。此外，在域外句子的表示方面，微调的影响较弱，这表明模型泛化有待改进。

    Apr, 2020

  • 上下文化词表示的低维线性几何

    本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。

    May, 2021

  • BERT 的通用文本表示：一项实证研究

    该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

    Oct, 2019