Jun, 2024

探究变形金刚式语言模型中的动词体类别

PDF
TL;DR我们调查了预训练语言模型（PLM）如何编码俄语动词相貌的语法类别。实验表明 BERT 和 RoBERTa 确实在其最后几层对相貌进行编码，并且对添加界定性含义对完美相貌和不完美相貌的影响相反，这与语法一致。我们的研究结果的实际应用是，仅对 BERT 的最后几层进行微调以预测相貌比对整个模型进行微调更快更有效。该模型对于具有界定性提示不明确的替代环境中的相貌预测存在较高的预测不确定性。
pretrained language modelsverbal aspectrussianbertroberta
发现论文，激发创造
  • 大型预训练语言模型中英语动词类别和交替理解的探究

    本研究通过选择性构建的诊断分类器，对 Bert、Roberta、Electra 和 DeBERTa 等大型预训练语言模型的嵌入进行了研究。研究发现，PLM 的上下文嵌入不仅在单词和句子级别上优于非上下文嵌入，而且在大多数替换类别的任务中实现了惊人的高准确性，同时，我们发现，PLM 的中至上层在所有探测任务中的表现均比下层要好。

    Sep, 2022

  • 针对方面的情感分析的方面特定的上下文建模

    该研究旨在使用预训练语言模型（PLMs）建模特定方面的情感，通过提出三种基于方面的输入转换（即：方面伴侣、方面提示和方面标记）来促进 PLM 更好地关注特定方面的上下文，并在对 SC 和 OE 的标准和对抗性基准测试中，实现了最新的最佳结果和具有竞争力的结果。

    Jul, 2022

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 关于语言编码器对语法错误的鲁棒性

    本文旨在研究预训练语言编码器（ELMo，BERT 和 RoBERTa）在面对自然语法错误时的表现，通过采集真实语法错误和进行对抗性攻击来模拟这些错误对干净文本数据的影响。结果证实，所有测试模型的性能都受到了影响，但影响程度有所不同。此外，我们设计了一个语言接受度任务来揭示它们在识别不符合语法的句子和错误位置方面的能力。本文的结果有助于理解语言编码器对语法错误的鲁棒性和行为。

    May, 2020

  • 评估变换器神经网络作为英语过去时屈折的认知模型

    本研究通过训练一组不同参数设置的 Transformer 模型，在英语动词过去式词形成任务上取得了高精度，进一步暗示了模型具有某种程度的抽象学习能力，但其表现不符合人类数据，可能不是一个好的认知模型。

    Oct, 2022

  • Morph Call: 探究多语种 Transformer 的形态句法内容

    本研究提出了 Morph Call，它是针对四种不同形态的印欧语言（英语，法语，德语和俄语）的 46 个探测任务套件，使用诱导句子扰动的检测方法，在神经元，层和表示水平上分析了四个多语言 transformers 的形态句法内容，其中包括其不太被探究的蒸馏版本，并研究了精调 POS 标记对模型知识的影响。研究结果表明，精调可以改善和降低探测性能，并改变形态句法知识在模型中的分布。代码和数据公开，希望填补 transformers 的研究空白。

    Apr, 2021

  • Transformer 语言模型可以使用哪些上下文特征？

    通过在 Transformer 语言模型上进行一系列实验，我们发现对于当前 Transformer 语言模型的低困惑度，长上下文至关重要，但上下文的详细句法和命题内容并不重要，且在中长程上下文中，包括重新排列句子中的单词和删除除名词以外的所有单词在内的多种极端破坏性上下文操作仅会移除不到 15％的可用信息。

    Jun, 2021

  • 基于领域偏移的领域自适应定制化预训练，以及在方面抽取中的应用

    本论文中，我们提出了一种名为 DILBERT 的新的 fine-tuning scheme，用于处理在不同 domain 之间做 aspect extraction 的问题，该方法利用源 domain 和目标 domain 的分类信息，以指导 pre-training process 更好地适应不同的 domain 和 category，并在更具挑战性的 domain adaptation 问题上使用极少的无标签数据，从而在 state-of-the-art 的 baseline 上获得了显著的改进。

    Sep, 2021

  • Transformer 模型能否有效地在 StackOverflow 讨论中检测出软件方面？

    本文通过对 Benchmark API 数据集的实验探究，发现 Transformer 模型（包括 BERT、RoBERTa、DistilBERT 和 XLNet）在检测文本开发者讨论中的软件方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面方面较基准 SVM 模型有所改进，尤其在性能、安全性、可用性、文档、错误、法律、唯一情感和其他方面。但是，这些模型在掌握某些方面（例如 “社区” 和 “可移植性”）方面会出现错误，并且它们的性能因方面而异。此外，与 DistilBERT 等较小的模型相比，较大的 XLNet 模型在解释软件方面方面方面方面方面方面方面方面方面方面方面较为无效。

    Sep, 2022

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020