研究表明，在零 - shot 跨语言模型转移方面，多语言 BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

Jun, 2019

本文讨论了 Multilingual BERT (mBERT) 的语义属性，表明 mBERT 表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。

Nov, 2019

本文研究了 Multilingual BERT 在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明 Monolingual BERT 和 mBERT 相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数据。

May, 2020

本文主要介绍了采用预训练的深度学习语言模型用于自然语言处理的相关研究，特别是新型的 transformer-based BERT 模型。与其他大多采用英语等高资源语言的研究不同，本文侧重于针对冷门语言芬兰语的研究，探索基于多语言模型 Fine-tune 和基于芬兰语数据单独训练的模型的性能比较，实验结果表明后者的表现较好，成为当前芬兰语 POS 标注、NER 和依存分析任务的先进模型。

Dec, 2019

本文介绍训练两个三语 Bert 模型 —— 一种适用于芬兰语、爱沙尼亚语和英语的 FinEst BERT 以及一种适用于克罗地亚语、斯洛文尼亚语和英语的 CroSloEngual BERT，并在多种单语和跨语言情况下使用 BERT 和 XLM-R 作为基线评估它们在多个下游任务上的性能，包括命名实体识别、词性标注和依存句法分析，结果表明这些模型能够提高大多数情况下所有任务的结果。

Jun, 2020

本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

Jul, 2020

翻译 TREx 和 GoogleRE 两项基准测试为 53 种语言，使用 mBERT 模型研究其作为多语言知识库的性能及影响因素，发现其性能因被查询的语言而异，同时使用多种语言的预测结果可提高性能。

Feb, 2021

该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

Apr, 2019

通过在不同语言和不同自定义 NLP 任务上的实验研究，本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。

Dec, 2019

本文介绍了一种从维基百科数据中创建特定语言 BERT 模型的简单完全自动化流程，并引入 42 个新的这种模型，以往缺乏专门深度神经语言模型的语言。我们使用现有的 UDify 解析器对这些模型的优点进行评估，并发现 UDify 使用的 WikiBERT 模型在平均性能方面优于使用 mBERT 的解析器，这些特定语言模型在某些语言方面表现出显著的改进，而在其他语言方面改进有限或性能下降。我们还提供了初步结果作为了解特定语言模型最有益的条件的第一步。

Jun, 2020