现代自然语言处理的突破包括能够在 100 多种语言中执行任务的大型多语种模型。最先进的语言模型从简单的独热编码词表示开始，能够执行自然语言理解、常识推理或问答等任务，从而捕捉文本的语法和语义。同时，语言模型正在超越我们所知的语言界限，甚至在资源非常有限的濒危语言的方言中获得有竞争力的表现。然而，仍然存在一些问题，需要解决，以确保通过统一的建模空间在语言和说话者之间获得公正的文本表示。在本调研中，我们阐述了多语种文本表示的迭代进展，并讨论了最终导致当前最先进技术的推动因素。随后，我们讨论了如何实现语言民主化的全部潜力，突破所知的限制，并探讨在该领域的改进范围。

Sep, 2023

通过比较多语言和单语言模型，本文表明了在大量的原始数据上使用基于预训练语言模型的迁移学习在处理未见过的语言中存在多种行为，其中一些语言能够从迁移学习中受益，而另一些则似乎不行，我们还发现这种无法传递的失败很大程度上与用于书写这些语言的字符的影响有关，转写这些语言可以极大地提高后续任务的大规模多语言语言模型的能力。

Oct, 2020

探讨了多语言翻译中双语模型和一对多多语言模型的在表示上的几何差异，发现多语言解码器的表示比双语解码器的表示具有更低的等向性，限制了剩余的表达能力，并分析了这种差异的原因。

May, 2023

本文主要研究 NLP 系统中的多语言支持，其中提到 Multilingual BERT 作为一个可应用于 104 种语言的替代方案，通过分析 Multilingual BERT 的行为和跨语言传输与这些模型的优化行为，提供更好的跨语言模型和跨语言传输理解。

Jul, 2022

添加多语言数据可以提高低资源语言模型的性能，但对于高资源语言而言，添加多语言数据可能会降低性能。

Nov, 2023

英语一直被认为是科学研究的 $ extit {lingua franca}$，然而，该研究表明文献主要以多种语言出现，因此建议当前的模型和基准应该体现这种语言多样性，以提高在非英语文献上的表现。

Mar, 2024

探讨预训练多语言语言模型的组公平性，通过创建一个新的平行洞察测试实例的多语言数据集（MozArt）及使用人口统计信息来评估三种多语言模型（mBERT，XLM-R 和 mT5），我们发现这三种模型在四种目标语言中表现出不同程度的组不公平性，例如在西班牙语中表现出接近相等的风险，但在德语中表现出高水平的不平等。

Oct, 2022

介绍了一种新的多语种预训练模型方法，基于语言的相似性将目标语言划分为若干组，并对每组构建一个预训练模型，实验中在跨语言基准测试中与强基线模型相比获得了显著的提升。

Sep, 2021

该研究分析了多语言大型语言模型（MLLMs）的关键问题，包括语言不平衡、多语言对齐和固有偏差，探讨 MLLMs 的全球语言表示能力、偏见和挑战，并提出了有前景的研究方向。

Apr, 2024

通过两个无参数的语言表示投影模块（LRP2），本文调查了从英语到非英语语言的显式传输相对丰富的事实知识的可行性，并在 mLAMA 数据集上的实验结果证明了 LRP2 显著提高了事实知识检索精度，促进了对多种非英语语言的知识传递能力。

Nov, 2023