ACLMay, 2020

在多语言 BERT 中发现通用语法关系

PDF
TL;DR本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。
multilingual bertmasked language modelsyntactic treesunsupervised analysislinguistic universals
发现论文，激发创造
  • 多语言 BERT 中的跨语言句法差异：好不好及其对迁移的影响？

    该论文研究了多语言 BERT（mBERT）对 24 种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示 mBERT 以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。

    Dec, 2022

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 多语言 BERT 有多少语言中性？

    本文讨论了 Multilingual BERT (mBERT) 的语义属性，表明 mBERT 表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。

    Nov, 2019

  • Syntax-augmented Multilingual BERT 跨语言转移

    本研究表明，通过在辅助目标中提供语言语法和训练 mBERT 以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项 NLP 任务中的性能表现。

    Jun, 2021

  • 从多语言 BERT 感知单词级别翻译

    本研究探讨了多语言 BERT（mBERT）的跨语言表示，并提出了两种简单的方法来暴露其卓越的翻译能力。研究结果表明，mBERT 学习表示既包含语言编码组件，又包含抽象的跨语言组件，并明确确定了一种 mBERT 表示中的经验语言识别子空间。

    Oct, 2020

  • 基于预训练多语言句子表示的零样本依存句法分析

    本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统，但仍存在一些限制，如句法分析精度仍然随训练语言的变化而变化，并且在某些目标语言中，零 - shot 转移在所有测试条件下都无法成功，这引发了人们对整个方法的普适性问题的担忧。

    Oct, 2019

  • Multilingual BERT 的多语言能力如何？

    研究表明，在零 - shot 跨语言模型转移方面，多语言 BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

    Jun, 2019

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • 为 BERT 多语能力识别必要元素

    该研究通过实现小型 BERT 模型的混合合成数据和自然数据训练，试图从语言学和结构特征两个方面，探究多语 BERT 能实现无监督跨语言转移的原因。其结果表明，在 lexical、syntactic 以及阅读理解方面，mBERT 已实现了高质量的多语言表征和跨语言转移功能。

    May, 2020

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023