EMNLPSep, 2021

Transformer 模型是现代版 ELIZA 吗？对法语主谓一致的观察

PDF
TL;DR本研究通过分析长距离语法结构的结果显示，与 LSTMs 相反，Transformers 能够捕捉到相当数量的语法结构，从而对神经网络的句法能力评估提出质疑。
neural networksunsupervised representationssyntactic informationtransformersfrench agreement task
发现论文，激发创造
  • 评估 Transformer 抽象语法表示的能力：基于远距离协议的对比分析

    通过探究主谓和宾语 - 过去分词在法语中的形态一致问题，发现变形金刚模型对这两种形态一致问题的处理与应用于理论语言学中的模型一致，从而揭示了神经语言模型内部的工作机制。

    Dec, 2022

  • 变形金刚中的动词变位是由主语数量的线性编码决定的

    使用因果干预分析展示，深层架构如 Transformers 不是不透明的 “黑盒” 表示，而是以线性、可解释的形式表示某些语言特征。具体而言，我们表明 BERT 的动词变位能力依赖于一种线性编码的主语数量，在第一层的主语位置和最后一层的动词位置可以操纵并对变位准确性产生可预测的影响。在中间层位置，特别是当有多个主语序号线索时，该编码分布在多个位置之间。

    Oct, 2023

  • Transformers 中频率对句法规则学习的影响

    本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。

    Sep, 2021

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 评估变换器神经网络作为英语过去时屈折的认知模型

    本研究通过训练一组不同参数设置的 Transformer 模型，在英语动词过去式词形成任务上取得了高精度，进一步暗示了模型具有某种程度的抽象学习能力，但其表现不符合人类数据，可能不是一个好的认知模型。

    Oct, 2022

  • BERT 是否真的赞同？对语法任务上词汇依赖的精细分析

    该研究评估了基于 Transformer 的神经语言模型在语法识别任务中的一般性能力，特别是在处理句子结构和词汇形态方面的通用表现，描述了在有吸引因素的情况下，词汇独立的句法泛化失败的情况。

    Apr, 2022

  • 基于 Transformer 模型的法语问答任务的可用性研究

    研究通过对 Transformer-based architectures 的改进和优化，尤其是在数据增强、超参数优化和跨语言转移方面，提高了法语低资源情况下的问答表现，并引入了一种紧凑的法语 FrALBERT 模型。

    Jul, 2022

  • LSTMs 是否具有性别意识？探究 LSTMs 学习抽象句法规则的能力

    通过测试法语中的性别协议，该研究发现 LSTMs 对需要对长距离句法依赖进行跟踪的语言任务具有高准确性，然而，是否 LSTMs 真正学习了抽象的句法规则和类别依然未知。

    Oct, 2022

  • 通过少样本学习新词性别研究语言模型中的语法抽象

    人们可以从很少的示例中学习一个新词并推断其语法属性。我们从心理语言学中得到启发，进行了一个名词学习实验，以评估 LSTM 和仅解码器的 Transformer 模型是否能够在法语中实现类似人类的语法性别抽象化。我们发现两种语言模型可以有效地从一个到两个学习示例中推广获得新的名词性别，并将所学的性别应用于协议上下文，尽管对于男性性别类别有一定偏倚。重要的是，几次性学习更新仅应用于嵌入层，表明模型在词嵌入空间内编码了足够的性别信息。虽然模型的泛化行为表明它们将语法性别表示为一个抽象的类别，类似于人类，但还需要进一步探索其具体实现细节。为了与人类行为进行比较，我们进行了一项类似的单次学习实验，揭示了如同语言模型一样，法语母语人士也表现出男性性别偏倚，而且也不能很好地进行单次学习。

    Mar, 2024

  • 通过语法错误检测探索针对性的句法知识

    本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。

    Oct, 2022