EMNLPSep, 2021

Transformers 中频率对句法规则学习的影响

PDF
TL;DR本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。
pre-trained language modelsbertsubject-verb agreementlinguistic tasksrule-governed behavior
发现论文，激发创造
  • BERT 是否真的赞同？对语法任务上词汇依赖的精细分析

    该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

    Apr, 2022

  • 探索 BERT 中的新动词学习：选择偏好类与基于交替的句法推广

    本文利用一种新的单词学习范式，测试并发现 BERT 在仅有一两个新词的微调后，便能够展现出稳健的语法概括能力，且在英语动词的变化过程和选词特征上表现出某些偏好行为。

    Nov, 2020

  • 词频不预测语言模型的语法知识

    本研究研究了神经语言模型的准确度，并发现特定名词在主谓一致和反身指代方面的准确度表现更好，并发现语料库频率与名词在语法任务中的表现无关，最后发现可以从各种类型的训练数据中学习新名词的语法性质。这些结果呈现了一个悖论：语法表现应该比实际观察到的表现更少变化。

    Oct, 2020

  • 评估 BERT 的句法能力

    该研究评估了最近推出的 BERT 模型对英语句法现象的捕捉程度，使用 (1) 自然发生的主谓一致刺激；(2)“无色的绿色思想” 主谓一致刺激以及 (3) 手动制作的主谓一致和反身代词现象的刺激。BERT 模型在所有情况下都表现出色。

    Jan, 2019

  • 通过语法错误检测探索针对性的句法知识

    本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。

    Oct, 2022

  • 人类与 BERT 在无意义句子中的主谓一致错误模式

    研究表明，语义的影响会影响人类和神经语言模型在主谓一致任务上的表现，BERT 对此更为敏感。

    Sep, 2022

  • 评估 Transformer 抽象语法表示的能力：基于远距离协议的对比分析

    通过探究主谓和宾语 - 过去分词在法语中的形态一致问题，发现变形金刚模型对这两种形态一致问题的处理与应用于理论语言学中的模型一致，从而揭示了神经语言模型内部的工作机制。

    Dec, 2022

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 变形金刚中的动词变位是由主语数量的线性编码决定的

    使用因果干预分析展示，深层架构如 Transformers 不是不透明的 “黑盒” 表示，而是以线性、可解释的形式表示某些语言特征。具体而言，我们表明 BERT 的动词变位能力依赖于一种线性编码的主语数量，在第一层的主语位置和最后一层的动词位置可以操纵并对变位准确性产生可预测的影响。在中间层位置，特别是当有多个主语序号线索时，该编码分布在多个位置之间。

    Oct, 2023

  • 评估变换器神经网络作为英语过去时屈折的认知模型

    本研究通过训练一组不同参数设置的 Transformer 模型，在英语动词过去式词形成任务上取得了高精度，进一步暗示了模型具有某种程度的抽象学习能力，但其表现不符合人类数据，可能不是一个好的认知模型。

    Oct, 2022