ACLMay, 2021

评估基于 Transformer 的多语言语言模型的句法能力

PDF
TL;DR本研究探讨了 Bert 和 RoBERTa 等单语和多语版本的句法泛化能力，使用 SyntaxGym 测试套件和其在西班牙语中的替代品 SyntaxGymES 对英语和西班牙语进行了测试。
multilingual transformer-based language modelssyntactic generalizationbertrobertasyntaxgymes
发现论文，激发创造
  • Syntax-augmented Multilingual BERT 跨语言转移

    本研究表明，通过在辅助目标中提供语言语法和训练 mBERT 以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项 NLP 任务中的性能表现。

    Jun, 2021

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 多语言 BERT 中的跨语言句法差异：好不好及其对迁移的影响？

    该论文研究了多语言 BERT（mBERT）对 24 种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示 mBERT 以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。

    Dec, 2022

  • 语言通才与专才：多语言迁移能力的实证再探

    本文研究英语中心模型的多语言迁移能力，发现这些模型不仅具有多语言迁移能力，而且在某些情况下可能优于多语言预训练模型，在不同类型的任务中表现出不同的多语言迁移能力，并提供了有价值的洞见，以增强英语中心模型的多语言推理能力。

    Jun, 2023

  • 多语言 BERT 有口音：评估英语对多语言模型流畅性的影响

    研究发现多语种模型中高资源语言的语法结构会渗透到低资源语言中，给跨语言模型性能带来偏差。

    Oct, 2022

  • Multilingual BERT 在语言生成方面是否流利？

    本文探讨了多语言 BERT 模型在语言编码、语法特性、语言生成等任务上的表现，发现该模型性能低于单语言模型，在某些情况下无法取代单语言模型，尤其在北欧语言方面表现不足。

    Oct, 2019

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 在多语言 BERT 中发现通用语法关系

    本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

    May, 2020

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022