利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。
Oct, 2018
本文评估了一个大规模多语言神经机器翻译模型编码器在五个跨语言分类和序列标记任务中的跨语言效果，并展示了零-shot转移学习中在四个任务中的增益。
Sep, 2019
通过在100种语言上使用超过2TB的CommonCrawl数据对基于Transformer的掩蔽语言模型进行大规模的预训练，该模型命名为XLM-R，显著优于mBERT，在跨语言基准测试中实现了+14.6％和+13％的平均准确性和F1分数，并改善了10个低资源语言的准确性，显示了前景。
Nov, 2019
研究了最近神经机器翻译 (NMT) 在英语和五种非洲低资源语言 (LRL) 对之间的效果，并表明多语言模型 (multilingual approach) 在某些翻译方向上有 +5 分数的提升。同时，提供标准的实验数据和测试集以供未来的研究使用。
Mar, 2020
使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。
Jan, 2021
通过比较零-shot 学习、迁移学习和多语言学习在三种班图语（Shona、IsiXhosa 和IsiZulu）和英语翻译中的表现，我们展示了语言相似性对英语到isiZulu的迁移学习性能的重要性，并证明多语言学习在我们的数据集上优于迁移学习和零-shot 学习，其最佳模型相对于基线英语到isiZulu模型的 BLEU得分提高了9.9、6.1和2.0，同时超过了之前的最佳表现。
Apr, 2021
本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的N元模型、前馈神经网络、循环神经网络和Transformers网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。
本文通过多语言自适应微调方法，改进了前馈神经网络(AfriBERTa和XLM-R)模型，使其适配17种最常用的非洲语言及其他3种在非洲大陆广泛使用的高资源语言，在NER、新闻主题分类和情感分类等自然语言处理任务中具有竞争性，且需要的磁盘空间明显少于单个语言的自适应微调方法。同时，本文的适配模型还能够改善参数效率微调方法的零-shot跨语言转移能力。
Apr, 2022
本文在分析预训练mT5模型对90种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。
Dec, 2022
通过研究名词实体识别任务的十种低资源语言之间的跨语言迁移学习，我们发现自适应微调和迁移语言的选择对零射击迁移性能有何影响，发现在个别语言性能和在其他语言上的概括之间存在权衡，同时源数据集和目标数据集之间的数据重叠程度是预测迁移性能的更好指标，而不是语言之间的地理或遗传距离。
Sep, 2023