MULTI-EURLEX 是一个多语言数据集，用于法律文件的主题分类，其中包含 65,000 个欧盟法律，并使用 EUROVOC 分类法进行了注释。 在使用该数据集进行零 - shot 跨语言转移时，发现使用单个源语言对多语言预训练模型进行微调会导致多语言语言知识的严重遗忘，并因此表现出较差的零 - shot 转移结果， 但是通过部分微调等调整策略可以帮助保留预训练模型的跨语言知识，从而显著提高零 - shot 跨语言转移性能。

Sep, 2021

在法律领域中，我们提供了 EUROPA 数据集来支持多语言关键短语生成，利用欧洲联盟 (EU) 法院的法律判决作为数据源，涵盖了所有 24 种 EU 官方语言。我们在此数据集上运行了多语言模型并分析了结果，结果显示在特定领域的多语言语料库上仍有改进的空间。

Mar, 2024

提议一种语言公平度量标准，用于评估多语言信息检索系统在对不同语言的文档进行排序时是否存在公平性，并通过 Kruskal-Wallis 测试进行统计等价性检验。通过人工排名列表和实际检索系统的评估，得出 PEER 得分与以往对多语言信息检索系统公平性的分析结果具有一致性的结论。

May, 2024

本文介绍了一个名为 EUR-Lex-Sum 的新数据集，基于欧盟法律平台的法律法规摘要，包括 24 种官方欧洲语言的跨语言段落对齐数据，以及资源的关键特征对现有摘要资源进行比较。

Oct, 2022

本研究介绍了一个新的大型多语言法律文本数据集 MultiLegalPile，用于培训各种 NLP 模型，使用 RoBERTa 和 Longformer 等预训练模型性能优越，在 LEXTREME 上取得新的 SotA，我们在 LexGLUE 的英语和多语言模型上进行了评估，发布了数据集、训练模型和所有代码。

Jun, 2023

本研究展示了一个新的、独特的、可自由获取的平行语料库，包含欧盟（EU）主要法律文件。该语料库包含了所有 20 种正式语言以及欧盟候选国的语言。该研究还表明，该语料库可用于训练和测试多标签分类算法和关键词分配软件。此外，该平行语料库中的大量文本也适合跨语言研究，并可以用于测试和基准测试不同语言之间的文本分析软件（例如对齐、句子分割和术语提取）。

Sep, 2006

本研究介绍了 EUvsDisinfo，这是一个可信与虚假信息文章的多语种数据集，与亲克里姆林宫主题相关。该数据集直接来源于 EUvsDisinfo 项目专家撰写的辟谣文章。我们的数据集是迄今为止在文章数量和不同语言方面规模最大的资源。它还提供了最广泛的主题和时间覆盖范围。利用这个数据集，我们调查了亲克里姆林宫虚假信息在不同语言中的传播情况，揭示了针对特定虚假信息主题的语言特定模式。我们进一步分析了八年期间话题分布的演变，并注意到在 2022 年乌克兰全面入侵之前，虚假信息内容急剧增加。最后，我们展示了该数据集在多语言环境中训练模型以有效区分虚假信息和可信内容的适用性。

Jun, 2024

该研究提供了一个由 79 个数据集组成的开放性跨语言语料库，可用于培训情感模型，同时展现了基于不同基础模型、训练目标、数据集集合和微调策略所进行的数百次实验的多方面情感分类基准。

Jun, 2023

本论文提出了一个新的多语言数据集 MultiClaim，其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果，并显示对这样一个多样化的数据集进行评估具有复杂性，需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法，显著提高了非监督方法的性能。

May, 2023

该研究提出了一个针对语言严重不足的情况的基准测试 XTREME-UP 来评估语言模型对 88 种语言的能力，比传统的零样本测试更具实际价值，侧重于用户中心的任务，包括 ASR,OCR,MT 和信息访问任务，并提供多种建模场景的方法学。

May, 2023