未知文字：脚本对跨语言迁移的影响
本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。
Dec, 2022
本文介绍了使用源语言和目标语言的翻译来课程式微调预训练模型，以用于跨语言的视觉问答任务。实验结果表明，脚本在这些模型的性能中起着重要作用。具有相同脚本的目标语言比其他语言表现更好，混合脚本的代码交换语言比其对应的语言表现更好。
Jan, 2023
本篇研究探讨了跨语言相似度与不同文本之间的相互作用，针对两个监督学习任务，即词性标注和情感分析，使用新标注的阿尔及利亚用户生成评论语料库和多语言模型进行研究，并发现语言的相似度和文本差异之间存在微妙的关系。
May, 2021
为了解决跨语言转移中诸如标记化、形态和句法变化等因素的影响，我们提出了一组控制性转移研究，针对 GLUE 任务逐一更改不同的因素，然后测量预训练模型在下游性能中的下降。我们发现，最具影响力的因素是将新的嵌入与现有的变压器层对齐，而旧有的预训练模型无法解决这个问题。
Feb, 2022
本研究提出了一种跨语言脚本知识共享架构，利用交叉关注和语言脚本的对齐来生成更好的文本表示，实验证明了该方法的有效性，并通过模型可解释性技术解释了语言特定表示之间的知识共享。
Feb, 2024
本文介绍了一种基于矩阵分解和词汇重叠的方法，能够快速适应预先训练的多语言模型以适应资源匮乏的语言和未知脚本，并且在这些语言中能够获得显著的性能提升。
Dec, 2020
本研究旨在探讨预训练语言模型在不同数量、相关性条件下的零样本学习能力，并发现通过模型适应，增加预训练语言数量能够提高语言模型的性能。
Mar, 2022
本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。
Jan, 2022
通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。
Apr, 2024