通过建立语言间的语义对齐，提出通过使用非英语训练数据来增强预训练大型语言模型在非英语语言上的能力，并通过实验结果证明此方法在六种非英语语言上超过英语模型 42.50%，在汉语人文任务上超过英语模型 8.2%。同时发现，使用非英语文本作为翻译数据的目标端特别有效，且随着翻译任务数据规模的扩大，语言模型内部的语义对齐能够进一步加强。

Aug, 2023

本文介绍了一个多语种、跨文化的基准数据集 GeoMLAMA，旨在探究多语种 PLMs 中通用知识的多样性，通过在 11 个标准多语种 PLMs 上的测试，发现尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念，语言不一定能很好地反映其本地文化的知识，而一个语言在探索非本国国家的知识时，则可能比探索本国国家的知识更好。

May, 2022

本文通过在 50 种语言中使用 BabelNet 这一丰富的跨语言单词知识库，将大规模多语言 Transformer（MMT）暴露于多语言词汇知识，并利用对比目标指导下的词汇专业化过程，大幅提高了双语词汇归纳、跨语言单词相似性和跨语言句子检索等交叉语言词汇任务的性能。同时，实验还表明，相对于语言多样性，MMT 的预训练质量对性能有更大的影响。

Aug, 2022

预训练语言模型 (PLMs) 的可重用性常受到其泛化问题的限制，该问题表现为在评估与训练数据集不同的示例时，性能显著下降，被称为离群 / 未知示例。本文提出了一种名为 Mask-tuning 的训练方法，通过将掩码语言建模 (MLM) 训练目标整合到微调过程中，提高了 PLMs 的泛化能力。全面的实验证明，Mask-tuning 超越了当前最先进的技术，并增强了 PLMs 在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。研究结果表明，Mask-tuning 改善了 PLMs 在未知数据上的可重用性，使其在实际应用中更加实用和有效。

Jul, 2023

ALSACE 使用学到的知识从表现优秀的语言中指导同一多语言预训练语言模型内表现较差的语言，有效地减少了语言级别的性能差异，同时在不同的多语言自然语言理解任务中展现了竞争力。

Apr, 2024

多语种模型的研究指出，语言不平衡是跨语言泛化的一个新的驱动因素，在实验中观察到，在训练中存在一种主要语言可以提升较不频繁的语言的性能，同时加强模型在不同语言间的表示对齐，同时本研究还提出了一些训练方案来改善克隆语言的性能。

Apr, 2024

通过使用语言适配器（LAs）解决 NLP 任务中的零射击跨语言转移问题，并结合多个源语言的语言适配器进行训练和测试，展示了在 POS 标注和 NER 任务上相对标准微调和其他强基线模型平均 F1 分数提高了 3.2 个点的改进。

Oct, 2023

本文提出了一种基于任务的地理适应预训练语言模型的方法，将语言建模和地理预测相结合，并在多任务学习设置下学习语言现象和地理位置之间的关联，经实验证明，地理适应能显著改善预训练语言模型在地理信息相关任务上的表现。

Mar, 2022

本研究展示了如何利用语言的亲缘关系信息，以结构化、基于语言学的方式改进跨语言转移，并在多个语言家族（如日耳曼语族、乌拉尔语族、托皮语族和乌托邦 - 阿兹特克语族）上进行适配器训练，在句法和语义任务上实现相对性能提升超过 20%，特别是在没有预先训练的语言上。

May, 2022

本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

Mar, 2021