该论文介绍了一个名为 XTREME 的跨语言多任务基准测试，它可以在 40 种语言和 9 个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

Mar, 2020

该文章介绍了新的 XTREME-S 基准测试，其涉及语音识别，分类，语音到文本翻译和检索四大任务类别。该基准测试覆盖了 10 多种语言家族的 102 种语言与 3 个不同领域和 4 个任务家族，旨在简化多语言语音表示评估，并以 XLS-R 和 mSLAM 在所有下游任务中建立了第一个仅语音和语音文本基线。同时该基准测试旨在推动对 “通用” 的语音表示学习的研究，数据集和微调脚本可在提供的网址进行访问。

Mar, 2022

使用 Transformer 架构的进步，促进了法律 NLP 领域的发展。为了评估其发展，需要有好的基准数据集。但是目前大部分基准数据集只有英文，而且其中缺少多语言数据集。为此，作者选择了 11 个涵盖 24 种语言的数据集，并创建了 LEXTREME。该工作提出了两种聚合得分，一种基于数据集，一种基于语言。最佳基线模型（XLM-R large）的数据集聚合得分和语言聚合得分均为 61.3，表明 LEXTREME 仍具有很高的挑战难度。为了方便研究人员和从业者使用，作者将 LEXTREME 公开在了 huggingface 并提供了所有用于评估模型的代码以及包括所有运行结果的 public Weights and Biases 项目。

Jan, 2023

该研究提出了一个针对语言严重不足的情况的基准测试 XTREME-UP 来评估语言模型对 88 种语言的能力，比传统的零样本测试更具实际价值，侧重于用户中心的任务，包括 ASR,OCR,MT 和信息访问任务，并提供多种建模场景的方法学。

May, 2023

本文介绍了 IndicXTREME，一个由 9 个不同任务组成的基准测试，包括来自印度次大陆、属于 4 个不同语系的 18 种语言。我们更新和扩展了 IndicCorp，提供了 IndicBERT v2，并证明了它优于现有的多语言语言模型，如 XLM-R 和 MuRIL。

Dec, 2022

通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

Nov, 2019

使用人工评估的大规模多语言代码生成基准，填补了在多语言代码生成领域中评估自然语言泛化能力的空白。

Feb, 2024

本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

May, 2022

我们介绍了首个多语言语言可接受性基准 MELA，并在 48K 个样本中涵盖了 10 种语言，从不同的语言家族中选择。我们分析了经过精调的 XLM-R 的权重，探索了语言之间的转移困难，结果显示 ChatGPT 得益于上下文实例，但仍落后于精调的 XLM-R；而 GPT-4 在零 - shot 设置中与精调的 XLM-R 的性能相当。跨语言和多任务学习实验表明，在语言可接受度判断中，与语义任务不同，语言内的训练数据至关重要。我们还引入了冲突权重的概念，该概念可能是跨语言转移困难的潜在指标。

Nov, 2023

使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

Oct, 2021