本文提出一种简单的迭代训练过程，利用系统直接生成的翻译对零-shot方向进行翻译，以及原始并行数据，来重新训练多语言网络，有效提高了多语言模型的BLEU分数，并且在非零-shot语言方向上的性能也略有提升。

Nov, 2018

研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于15种语言始终有效。

Mar, 2020

分析了massively multilingual transformers在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的few-shot transfer在多语言转换中十分有效。

May, 2020

本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

Jun, 2021

本文提出一种混合训练方法，使用随机梯度削减策略对源语言和目标语言的数据进行联合学习，避免了过多的针对特定语言的模型，并证明了该方法在跨多种语言下比传统的few-shot cross-lingual transfer learning方法表现更好且不需要选择目标语言的开发集。

Apr, 2022

本文探索了各种数据选择策略，依靠多个度量，利用了渐变嵌入和损失嵌入方法，以提高针对多语言预训练模型的POS标记、NER和NLI任务的Few-shot迁移的性能。实验证明，所提出的方法始终优于随机数据选择基线，即使仅使用更少的标记数据进行零-shot迁移，也能显著提高性能。

Jun, 2022

通过研究，我们发现使用预训练的多语言编码器进行零样本跨语言转移时，可能会产生高方差的不可靠模型，这是由于零样本跨语言转移解决了欠约束的优化问题，而线性插值模型可以同时对源语言和目标语言进行较好地建模，因此可以作为更好的方案。此外，零样本解决方案位于目标语言错误泛化表面的非平坦区域，导致了高方差。

Jul, 2022

本文提出一种无监督的跨语言嵌入转换方法，其中使用Embedding-Push、Attention-Pull和Robust targets来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零-shot跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

Oct, 2022

这篇研究介绍了一个新的跨语言迁移的评估标准BUFFET，其中包含15个不同类型的任务和54种语言，利用该标准评估发现，少量的训练数据对于不同语言和任务之间的语言迁移效果影响较大。

May, 2023

本研究针对现有多语言信息提取研究中存在的局限性，提供了一种针对多语言跨转移学习的详细分析。通过探讨语言之间的距离以及结合的语言距离度量，研究揭示了在零样本多语言设置中优化数据选择的问题，从而为实现更广泛的多语言信息提取系统奠定基础。

Nov, 2024