ACLApr, 2022

BERT 是否真的赞同？对语法任务上词汇依赖的精细分析

PDF
TL;DR该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。
transformer-based neural language modelsgeneralization abilitiessubject-verb number agreementsyntactic dependenciesbert
发现论文，激发创造
  • 评估 BERT 的句法能力

    该研究评估了最近推出的 BERT 模型对英语句法现象的捕捉程度，使用 (1) 自然发生的主谓一致刺激；(2)“无色的绿色思想” 主谓一致刺激以及 (3) 手动制作的主谓一致和反身代词现象的刺激。BERT 模型在所有情况下都表现出色。

    Jan, 2019

  • Transformers 中频率对句法规则学习的影响

    本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。

    Sep, 2021

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 人类与 BERT 在无意义句子中的主谓一致错误模式

    研究表明，语义的影响会影响人类和神经语言模型在主谓一致任务上的表现，BERT 对此更为敏感。

    Sep, 2022

  • 评估 Transformer 抽象语法表示的能力：基于远距离协议的对比分析

    通过探究主谓和宾语 - 过去分词在法语中的形态一致问题，发现变形金刚模型对这两种形态一致问题的处理与应用于理论语言学中的模型一致，从而揭示了神经语言模型内部的工作机制。

    Dec, 2022

  • 探索 BERT 中的新动词学习：选择偏好类与基于交替的句法推广

    本文利用一种新的单词学习范式，测试并发现 BERT 在仅有一两个新词的微调后，便能够展现出稳健的语法概括能力，且在英语动词的变化过程和选词特征上表现出某些偏好行为。

    Nov, 2020

  • 通过语法错误检测探索针对性的句法知识

    本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。

    Oct, 2022

  • 利用多任务学习探索 RNN 的句法能力

    本论文探究了 RNN 在句法能力、主谓一致性任务方面的表现，并测试了多任务训练是否能够提高其性能，结果表明多任务训练可以提高 RNN 的表现，尤其在复杂句子方面。此外，多任务训练还可以向语言模型中注入语法知识。

    Jun, 2017

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021

  • 多语言语言模型中的句法一致性神经元因果分析

    该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。

    Oct, 2022