Sep, 2022

大型预训练语言模型中英语动词类别和交替理解的探究

PDF
TL;DR本研究通过选择性构建的诊断分类器，对 Bert、Roberta、Electra 和 DeBERTa 等大型预训练语言模型的嵌入进行了研究。研究发现，PLM 的上下文嵌入不仅在单词和句子级别上优于非上下文嵌入，而且在大多数替换类别的任务中实现了惊人的高准确性，同时，我们发现，PLM 的中至上层在所有探测任务中的表现均比下层要好。
verb alternation classeslarge pre-trained language modelsword and sentence-level prediction taskscontextual embeddingsmiddle-to-upper layers
发现论文，激发创造
  • 探索 BERT 中的新动词学习：选择偏好类与基于交替的句法推广

    本文利用一种新的单词学习范式，测试并发现 BERT 在仅有一两个新词的微调后，便能够展现出稳健的语法概括能力，且在英语动词的变化过程和选词特征上表现出某些偏好行为。

    Nov, 2020

  • 单词和句子嵌入中的动词和论元结构转换

    通过研究基于人工神经网络编码的句子语境和词汇形态，本研究构建了五个数据集并测试了模型的可靠性，结果显示该方法对于某些动词变化是可行的，但对于其他动词变化则难以提取细粒度的字面信息。

    Nov, 2018

  • 探索图像 - 语言变换器的动词理解

    本文研究多模态图像语言变换器的预训练表示质量，研究表明在需要谓语理解的情况下这些模型的表现不佳，通过图像 - 语句对数据集评估模型性能，分类词汇类型并找到特别具有挑战性的词汇类型。

    Jun, 2021

  • 探究变形金刚式语言模型中的动词体类别

    我们调查了预训练语言模型（PLM）如何编码俄语动词相貌的语法类别。实验表明 BERT 和 RoBERTa 确实在其最后几层对相貌进行编码，并且对添加界定性含义对完美相貌和不完美相貌的影响相反，这与语法一致。我们的研究结果的实际应用是，仅对 BERT 的最后几层进行微调以预测相貌比对整个模型进行微调更快更有效。该模型对于具有界定性提示不明确的替代环境中的相貌预测存在较高的预测不确定性。

    Jun, 2024

  • 神经语言模型中动词偏置表征的研究

    通过大规模数据集 DAIS，本文研究谓语偏向性对人类习惯表述的影响，探究神经语言模型对人类偏好的表达能力，结果表明基于 transformer 架构较基于循环神经网络较佳，并具有更好的语法信息融合表达能力。

    Oct, 2020

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 通过语法错误检测探索针对性的句法知识

    本研究旨在利用语法错误检测作为一种诊断探针来评估预训练语言模型的令牌级上下文表示对主谓一致的了解程度，并评估了来自五个预训练语言模型的上下文表示。研究者发现，掩码语言模型线性编码了与 SVA 错误检测相关的信息，而自回归模型的表现与我们的基准线持平，但是当探针在不同的训练集上进行训练并在不同的句法结构上进行评估时，我们也观察到表现上的差异。

    Oct, 2022

  • PLM 中的上下文化发生在哪里？

    在本研究中，我们通过定性和定量措施，研究了用于词义启动的 BERT uncased 12 层架构的基本表示，以确定预训练语言模型中词义转换的确切位置。

    Dec, 2023

  • 预训练语言模型中的隐喻：跨数据集和语言的探测和普适性研究

    该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息，结果显示这些模型的中间层主要包含了隐喻性知识，并且该知识在多语言和多数据集中具有泛化性。

    Mar, 2022

  • 不同模型在语言知识定位方面并非都一样：对 BERToid 表示的逐层探索

    本研究探究了不同的预训练模型（BERT、ELECTRA 和 XLNet）对语言信息编码的差异性，并表明基于深度的评估策略往往存在误导性，我们使用了一种信息论探究方法以获取更为可靠和有用的结论。

    Sep, 2021