EMNLPApr, 2019

Beto, Bentz, Becas：BERT 的跨语言效果之惊人

PDF
TL;DR该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。
pretrainedcontextual representation modelscross-lingual potentialmbertzero-shot language transfer
发现论文，激发创造
  • Multilingual BERT 的多语言能力如何？

    研究表明，在零 - shot 跨语言模型转移方面，多语言 BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

    Jun, 2019

  • 跨语言调整上下文词表示对零 - shot 迁移的影响

    本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

    Apr, 2022

  • 多语言 BERT 中的各种语言是否平等？

    本文研究了 Multilingual BERT 在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明 Monolingual BERT 和 mBERT 相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数据。

    May, 2020

  • 先对齐，再预测：理解多语言 BERT 的跨语言能力

    使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

    Jan, 2021

  • 多语言 BERT 的跨语言能力：实证研究

    通过在不同语言和不同自定义 NLP 任务上的实验研究，本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

    Dec, 2019

  • 多语言 BERT 有多少语言中性？

    本文讨论了 Multilingual BERT (mBERT) 的语义属性，表明 mBERT 表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。

    Nov, 2019

  • 多语言 BERT 的跨语言对齐方法：一项比较研究

    本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零 - shot 设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充），我们评估了不同对齐方法在八种语言上的性能，并提出了一种新的规范化方法，该方法不断改进基于旋转的对齐性能，特别是远距离和在语言类型上不同的语言。此外，我们还发现对于任务和转移语言的接近程度，不同的对齐方法存在偏差，平行语料库的监督力度通常优于字典对齐。

    Sep, 2020

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • 将多语言 BERT 扩展到低资源语言

    本研究提出一种简单而有效的方法，扩展多语言 BERT (E-BERT)，使其可以为任何新语言提供帮助，并在 27 种语言上进行命名实体识别（NER）实验，结果表明我们的方法对已包含在 M-BERT 中的语言平均 F1 值提高了 6％，对新语言提高了 23％的 F1 值。

    Apr, 2020

  • BERT 下的跨语言信息检索

    使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

    Apr, 2020