EMNLPOct, 2023

变形金刚中的动词变位是由主语数量的线性编码决定的

PDF
TL;DR使用因果干预分析展示，深层架构如 Transformers 不是不透明的 “黑盒” 表示，而是以线性、可解释的形式表示某些语言特征。具体而言，我们表明 BERT 的动词变位能力依赖于一种线性编码的主语数量，在第一层的主语位置和最后一层的动词位置可以操纵并对变位准确性产生可预测的影响。在中间层位置，特别是当有多个主语序号线索时，该编码分布在多个位置之间。
发现论文，激发创造
  • Transformers 中频率对句法规则学习的影响

    本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。

    Sep, 2021

  • Transformer 模型是现代版 ELIZA 吗？对法语主谓一致的观察

    本研究通过分析长距离语法结构的结果显示，与 LSTMs 相反，Transformers 能够捕捉到相当数量的语法结构，从而对神经网络的句法能力评估提出质疑。

    Sep, 2021

  • 探究语法数的使用

    通过对 BERT 模型进行探究研究，本文发现利用线性编码能够提升模型在数字任务上的性能，同时发现了名词和动词之间的语法数有不同的编码方式，并且还找出了传递名词语法数信息到其头部动词的模型层数。

    Apr, 2022

  • 深度主体性：多语言 BERT 中的高阶语法特征

    本文探讨了 Multilingual BERT（mBERT）如何编码文法，并研究了不同语言编码空间之间如何表现形态句法对齐的高级文法特征，结果表明 mBERT 表示受到不在任何一个输入句子中表现的高级文法特征的影响，而语法特征通过可靠的语义和话语因素进行编码，在更高层次上提供了文法特征在情境嵌入空间中如何表现的洞见。

    Jan, 2021

  • BERT 是否真的赞同？对语法任务上词汇依赖的精细分析

    该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

    Apr, 2022

  • 变形金刚对政府了解多少？

    该论文研究了语言特征和自然语言结构的编码在 Transformer 语言模型中可以获得的洞察力，特别是探讨了 BERT 如何编码句子中成分之间的关系。我们使用多个探测分类器和两种形态丰富的语言数据进行实验，结果表明，Transformer 的所有层都编码了关于成分关系的信息，但主要在模型的早期层中。同时，我们发现，对于这两种语言，少数注意力头足够编码关于成分关系的信息，使得我们能够训练一个能够发现以前未见过的新类型政府关系的分类器。目前，研究语法结构尤其是政府关系的研究界缺乏数据，我们发布了 Government Bank 数据集，定义了我们实验语言中成千上万个词形的政府关系。

    Apr, 2024

  • 注意力可以反映句法结构 (如果你允许)

    本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

    Jan, 2021

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 打开西门子：深入探讨 BERT 的语言知识

    本文探讨了 BERT 对句法层次结构、位置信息以及自注意力向量的编码，并发现 BERT 在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明 BERT 的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

    Jun, 2019

  • 神经语言模型中动词偏置表征的研究

    通过大规模数据集 DAIS，本文研究谓语偏向性对人类习惯表述的影响，探究神经语言模型对人类偏好的表达能力，结果表明基于 transformer 架构较基于循环神经网络较佳，并具有更好的语法信息融合表达能力。

    Oct, 2020