Jun, 2022

Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

PDF
TL;DR本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。
transformer modelsgalician languageagreement dependenciesbert modelslong-distance dependencies
发现论文，激发创造
  • BERT 是否真的赞同？对语法任务上词汇依赖的精细分析

    该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

    Apr, 2022

  • 评估 Transformer 抽象语法表示的能力：基于远距离协议的对比分析

    通过探究主谓和宾语 - 过去分词在法语中的形态一致问题，发现变形金刚模型对这两种形态一致问题的处理与应用于理论语言学中的模型一致，从而揭示了神经语言模型内部的工作机制。

    Dec, 2022

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 多语言语言模型中的句法一致性神经元因果分析

    该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。

    Oct, 2022

  • 评估基于 Transformer 的多语言语言模型的句法能力

    本研究探讨了 Bert 和 RoBERTa 等单语和多语版本的句法泛化能力，使用 SyntaxGym 测试套件和其在西班牙语中的替代品 SyntaxGymES 对英语和西班牙语进行了测试。

    May, 2021

  • 评估 BERT 的句法能力

    该研究评估了最近推出的 BERT 模型对英语句法现象的捕捉程度，使用 (1) 自然发生的主谓一致刺激；(2)“无色的绿色思想” 主谓一致刺激以及 (3) 手动制作的主谓一致和反身代词现象的刺激。BERT 模型在所有情况下都表现出色。

    Jan, 2019

  • 评估语言模型中的语言推广能力：面向巴西葡萄牙语的数据集

    本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

    May, 2023

  • Transformers 中频率对句法规则学习的影响

    本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。

    Sep, 2021

  • 通过语法错误检测探索针对性的句法知识

    本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。

    Oct, 2022

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023