本文讨论了Multilingual BERT (mBERT) 的语义属性，表明mBERT表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。

Nov, 2019

本文研究了多语言语境嵌入在零样本跨语言迁移学习上的表现，并发现使用英语进行零样本设置时很难获得可重复的结果和一致的检查点，建议在零样本结果旁边提供oracle分数，通过避免任意差的检查点使结果更一致。

Apr, 2020

分析了massively multilingual transformers在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的few-shot transfer在多语言转换中十分有效。

May, 2020

本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零-shot设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充），我们评估了不同对齐方法在八种语言上的性能，并提出了一种新的规范化方法，该方法不断改进基于旋转的对齐性能，特别是远距离和在语言类型上不同的语言。此外，我们还发现对于任务和转移语言的接近程度，不同的对齐方法存在偏差，平行语料库的监督力度通常优于字典对齐。

Sep, 2020

本研究表明，通过在辅助目标中提供语言语法和训练mBERT以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项NLP任务中的性能表现。

Jun, 2021

本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

Jun, 2021

本研究使用已训练好的mBERT模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

Apr, 2022

本文探讨了利用mBERT最后一个transformer层以外的信息，采用基于attention机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在XNLI、PAWS-X、NER、POS等关键领域任务中，该方法在零-shot Cross-lingual下具有良好的性能提升，并且探讨了mBERT的可解释性。

May, 2022

该论文研究了多语言BERT（mBERT）对24种不同语言的语法关系的分布，发现该分布与语言形式差异高度一致，提示mBERT以与语言多样性一致的方式正确编码语言，并揭示了跨语言传输机制的内在机理。

Dec, 2022

本文提出了一种名为“Lexicon-Syntax增强多语言BERT”的新框架，该框架结合了词汇和句法知识，并通过多种技术增强其学习能力，在零样本跨语言传递的任务中取得了优异的成绩。

Apr, 2024