本研究使用 825GB 的英文文本语料库，旨在训练大规模语言模型，通过 GPT-2 和 GPT-3 的预实验发现，这些模型在处理学术写作等特定组件上表现不佳，而在训练了语料库后在所有组件上都有了显著提高。同时，我们对数据进行了深入分析，提供代码用于其构建。

Dec, 2020

MULTI-EURLEX 是一个多语言数据集，用于法律文件的主题分类，其中包含 65,000 个欧盟法律，并使用 EUROVOC 分类法进行了注释。 在使用该数据集进行零 - shot 跨语言转移时，发现使用单个源语言对多语言预训练模型进行微调会导致多语言语言知识的严重遗忘，并因此表现出较差的零 - shot 转移结果， 但是通过部分微调等调整策略可以帮助保留预训练模型的跨语言知识，从而显著提高零 - shot 跨语言转移性能。

Sep, 2021

使用 Transformer 架构的进步，促进了法律 NLP 领域的发展。为了评估其发展，需要有好的基准数据集。但是目前大部分基准数据集只有英文，而且其中缺少多语言数据集。为此，作者选择了 11 个涵盖 24 种语言的数据集，并创建了 LEXTREME。该工作提出了两种聚合得分，一种基于数据集，一种基于语言。最佳基线模型（XLM-R large）的数据集聚合得分和语言聚合得分均为 61.3，表明 LEXTREME 仍具有很高的挑战难度。为了方便研究人员和从业者使用，作者将 LEXTREME 公开在了 huggingface 并提供了所有用于评估模型的代码以及包括所有运行结果的 public Weights and Biases 项目。

Jan, 2023

本文提出一种基于法律框架的预训练材料过滤方法，利用 Pile of Law 数据集进行预训练，以帮助改善访问司法服务等法律任务，并提取可操作的法律规范，为研究人员提供新的模型处理研究方向。

Jul, 2022

本文介绍了一个名为 EUR-Lex-Sum 的新数据集，基于欧盟法律平台的法律法规摘要，包括 24 种官方欧洲语言的跨语言段落对齐数据，以及资源的关键特征对现有摘要资源进行比较。

Oct, 2022

通过多语言的法律案例数据集，使用 BERT 模型，成功预测了瑞士联邦最高法院的裁决案例，提高了司法工作效率。

Oct, 2021

本文提出 MiniPile 挑战，呈现一种使用文本语料库的小数据集进行语言模型预训练的方法，其适用性通过在 GLUE 和 SNI 基准测试中得到论证。

Apr, 2023

该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

Jun, 2023

我们提出了 MLSUM，这是第一个大规模的多语言摘要数据集，包括五种不同语言的 150 万篇文章 / 摘要对，与来自 CNN / Daily mail 数据集的英文报纸一起，构成一个大规模的多语言数据集，可以为文本摘要社区提供新的研究方向。我们基于最先进的系统进行交叉语言比较分析，发现了现有偏见，这促使我们使用多语言数据集。

Apr, 2020

该研究提供了一个由 79 个数据集组成的开放性跨语言语料库，可用于培训情感模型，同时展现了基于不同基础模型、训练目标、数据集集合和微调策略所进行的数百次实验的多方面情感分类基准。

Jun, 2023