Oct, 2022

通过语法错误检测探索针对性的句法知识

PDF
TL;DR本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。
syntactic informationpre-trained language modelsgrammatical error detectioncontextual representationssubject-verb agreement
发现论文，激发创造
  • 多语言语言模型中的句法一致性神经元因果分析

    该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。

    Oct, 2022

  • 神经语言模型中语法一致机制的因果分析

    通过因果中介分析方法研究预训练神经语言模型，揭示模型在困难情境下表现主语 - 谓语服务一致性的机制，研究发现模型的偏好程度及神经元对于主语 - 谓语一致性处理在语法结构不同的句子中存在相似性和差异性，同时表明了不同体系结构和规模的语言模型的相似性和差异性，以及主语 - 谓语一致性生成的两个不同机制。

    Jun, 2021

  • 人类与 BERT 在无意义句子中的主谓一致错误模式

    研究表明，语义的影响会影响人类和神经语言模型在主谓一致任务上的表现，BERT 对此更为敏感。

    Sep, 2022

  • Transformers 中频率对句法规则学习的影响

    本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。

    Sep, 2021

  • BERT 是否真的赞同？对语法任务上词汇依赖的精细分析

    该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

    Apr, 2022

  • 关于语言编码器对语法错误的鲁棒性

    本文旨在研究预训练语言编码器（ELMo，BERT 和 RoBERTa）在面对自然语法错误时的表现，通过采集真实语法错误和进行对抗性攻击来模拟这些错误对干净文本数据的影响。结果证实，所有测试模型的性能都受到了影响，但影响程度有所不同。此外，我们设计了一个语言接受度任务来揭示它们在识别不符合语法的句子和错误位置方面的能力。本文的结果有助于理解语言编码器对语法错误的鲁棒性和行为。

    May, 2020

  • 评估 BERT 的句法能力

    该研究评估了最近推出的 BERT 模型对英语句法现象的捕捉程度，使用 (1) 自然发生的主谓一致刺激；(2)“无色的绿色思想” 主谓一致刺激以及 (3) 手动制作的主谓一致和反身代词现象的刺激。BERT 模型在所有情况下都表现出色。

    Jan, 2019

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 利用多任务学习探索 RNN 的句法能力

    本论文探究了 RNN 在句法能力、主谓一致性任务方面的表现，并测试了多任务训练是否能够提高其性能，结果表明多任务训练可以提高 RNN 的表现，尤其在复杂句子方面。此外，多任务训练还可以向语言模型中注入语法知识。

    Jun, 2017