本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。

Jan, 2022

该论文提出了一个简单而有效的框架 TransMI，通过利用多语言预训练语言模型（mPLMs）及其伴随的标记器，将数据转写成共同脚本，从而创建一个强大的基准，有效处理转写数据，提高 3% 至 34% 的性能。

May, 2024

论文通过引入多语言指令调整数据集（MITS）和 TaCo 方法，提出了对语言模型进行训练和指令调整的方法，以解决预训练和微调 LLMs 到新语言的高成本问题，并通过实验证明 TaCo 方法在低资源语言上相比仅进行指令调整可以提升性能。

Nov, 2023

本文提出了一种基于对比学习的多粒度对齐的跨语言预训练模型 VECO~2.0，将序列到序列对齐和标记到标记对齐相结合，以支持跨语言模型预训练，通过在 XTREME 基准上的实验证明了该方法的有效性。

Apr, 2023

使用基于音译的预训练后对齐（PPA）方法，改善使用不同文字脚本的相互关联低资源目标语言与高资源源语言之间的跨语言对齐，进而在跨语言转移任务中，提高模型性能达到 50% 的改进；同时使用非英语语言作为源语言转移，可获得更大的改进。

Jun, 2024

使用词源学的条件转译对马耳他语进行预处理可以提高多语言语言模型的跨语言迁移能力，在四个下游任务中表现最佳。

Jan, 2024

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023

本文提出一种新的参数高效的跨语言转移学习框架，利用基于翻译的对齐方法来缓解多语言差异，并探索参数高效的微调方法，经过广泛的实验表明，我们的框架显著减少了语言之间的多语言差异，并在跨语言转移方面取得了改进，尤其在低资源场景中，同时只保留和微调极少量的参数与全模型相比（例如，我们的框架对于每种语言只需要全模型的 0.16% 的额外参数，在 few-shot 学习场景下）。

May, 2023

本篇研究探讨了跨语言相似度与不同文本之间的相互作用，针对两个监督学习任务，即词性标注和情感分析，使用新标注的阿尔及利亚用户生成评论语料库和多语言模型进行研究，并发现语言的相似度和文本差异之间存在微妙的关系。

May, 2021

本文介绍了一种基于矩阵分解和词汇重叠的方法，能够快速适应预先训练的多语言模型以适应资源匮乏的语言和未知脚本，并且在这些语言中能够获得显著的性能提升。

Dec, 2020