该论文介绍了一个名为 XTREME 的跨语言多任务基准测试，它可以在 40 种语言和 9 个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

Mar, 2020

本文研究运用机器学习技术进行多语言自然语言处理的现状，通过对 XTREME-R 的介绍和使用提出跨语言转移学习的方法，并提供一个交互式公共排行榜和 XTREME-R 的代码以拓展其应用领域。

Apr, 2021

该文章介绍了新的 XTREME-S 基准测试，其涉及语音识别，分类，语音到文本翻译和检索四大任务类别。该基准测试覆盖了 10 多种语言家族的 102 种语言与 3 个不同领域和 4 个任务家族，旨在简化多语言语音表示评估，并以 XLS-R 和 mSLAM 在所有下游任务中建立了第一个仅语音和语音文本基线。同时该基准测试旨在推动对 “通用” 的语音表示学习的研究，数据集和微调脚本可在提供的网址进行访问。

Mar, 2022

使用 Transformer 架构的进步，促进了法律 NLP 领域的发展。为了评估其发展，需要有好的基准数据集。但是目前大部分基准数据集只有英文，而且其中缺少多语言数据集。为此，作者选择了 11 个涵盖 24 种语言的数据集，并创建了 LEXTREME。该工作提出了两种聚合得分，一种基于数据集，一种基于语言。最佳基线模型（XLM-R large）的数据集聚合得分和语言聚合得分均为 61.3，表明 LEXTREME 仍具有很高的挑战难度。为了方便研究人员和从业者使用，作者将 LEXTREME 公开在了 huggingface 并提供了所有用于评估模型的代码以及包括所有运行结果的 public Weights and Biases 项目。

Jan, 2023

本文介绍了 IndicXTREME，一个由 9 个不同任务组成的基准测试，包括来自印度次大陆、属于 4 个不同语系的 18 种语言。我们更新和扩展了 IndicCorp，提供了 IndicBERT v2，并证明了它优于现有的多语言语言模型，如 XLM-R 和 MuRIL。

Dec, 2022

Multi-EuP 是一个多语言基准数据集，由来自欧洲议会的 22K 多语言文档组成，涵盖 24 种语言。该数据集旨在研究多语言信息检索 (IR) 语境中的公平性，分析排名语境中的语言和人口统计偏差。它拥有一个真实的多语言语料库，涵盖了 24 种语言的主题翻译，以及跨语言的相关性判断。此外，它还提供与文档相关的丰富人口统计信息，方便研究人口统计偏差。我们报告了 Multi-EuP 在单语和多语信息检索基准测试方面的有效性。我们还对由分词策略选择引起的语言偏差进行了初步实验。

Nov, 2023

提出了 UXLA，一种新的无监督数据增强框架，用于零资源转移学习场景中的跨语言适应问题。UXLA 在三个不同的零资源跨语言转移任务上取得了 SOTA 结果，胜过基准线很多。

Apr, 2020

本文提出了针对神经自然语言理解模型的极端压缩技术，并在资源受限设备上进行了实验。在任务知晓的全流程压缩方法中，我们将词嵌入压缩与 NLU 任务学习相结合，经大规模商业 NU 系统测试，实现了 97.4% 的压缩率，同时预测性能下降不到 3.7%。

Nov, 2020

该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

Jun, 2023

通过使用大型语言模型，本研究提出了一种成本有效的方法来生成准确、全合成的技能提取的标签数据集，并提出了一种对比学习策略，证明其在任务中的有效性。在三个技能提取基准测试中，我们的结果显示，与仅依赖于远程监督的字面匹配的先前发布结果相比，R-Precision@5 提高了 15 至 25 个百分点。

Jul, 2023