通过多语言的法律案例数据集，使用 BERT 模型，成功预测了瑞士联邦最高法院的裁决案例，提高了司法工作效率。

Oct, 2021

本研究介绍了一个新的大型多语言法律文本数据集 MultiLegalPile，用于培训各种 NLP 模型，使用 RoBERTa 和 Longformer 等预训练模型性能优越，在 LEXTREME 上取得新的 SotA，我们在 LexGLUE 的英语和多语言模型上进行了评估，发布了数据集、训练模型和所有代码。

Jun, 2023

针对印度等人口密集的国家法律案件增长的问题，本论文提出了解决该问题的有效技术 ——SemEval-2023 任务 6：理解法律文本的系统，该系统利用 Legal-BERT-HSLN 模型和 Legal-LUKE 模型预测法律文件的修辞角色和识别法律实体，并表明模型优于基线模型，在领先的任务排行榜中取得显著成绩。

Mar, 2023

BiToD 是第一个用于多语言任务导向对话建模的双语多域数据集，并为评估双语 ToD 系统和跨语言转移学习方法提供了有效的基准。

Jun, 2021

我们创建了一个大规模的开源基准数据集 SIB-200，用于解决自然语言理解方面缺乏评估数据集的问题，并在全监督、跨语言迁移和大型语言模型等多个环境中评估，结果显示在众多世界语言中，高资源语言和低资源语言之间仍存在很大差距。我们的研究表明，缺乏预训练多语言语言模型的语言、少数语言家族以及来自非洲、美洲、大洋洲和东南亚地区的语言通常在主题分类数据集上表现最差。希望我们的数据集能鼓励对更多种类语言进行多语言语言模型的包容性评估。

Sep, 2023

本论文介绍了韩国法律 AI 数据集 LBOX OPEN，该数据集包含了韩国判例文本、案例分类、法规预测、判决预测和摘要生成等多种任务，并发布了第一个基于该数据集训练的韩国法律语言模型 LCUBE，旨在为全球法律研究的多语种发展做出贡献。

Jun, 2022

MULTI-EURLEX 是一个多语言数据集，用于法律文件的主题分类，其中包含 65,000 个欧盟法律，并使用 EUROVOC 分类法进行了注释。 在使用该数据集进行零 - shot 跨语言转移时，发现使用单个源语言对多语言预训练模型进行微调会导致多语言语言知识的严重遗忘，并因此表现出较差的零 - shot 转移结果， 但是通过部分微调等调整策略可以帮助保留预训练模型的跨语言知识，从而显著提高零 - shot 跨语言转移性能。

Sep, 2021

本研究提出了一种自动构建四种语言的 SRL 语料库的方法，并使用高质量的机器翻译和多语种 BERT 模型在这四种语言之间导入一致的谓词和角色注释，经过实验表明这种方法使得弱势语言的表现得到了提高。

Oct, 2020

本文介绍了 SaulLM-7B，一个专为法律领域设计的大型语言模型 (LLM)，它具有 70 亿个参数，是第一个专门用于法律文本理解和生成的 LLM。利用 Mistral 7B 架构作为基础，SaulLM-7B 在超过 300 亿个标记的英文法律语料库上进行训练。SaulLM-7B 在理解和处理法律文件方面展现了最先进的能力。此外，我们提出了一种新颖的指导微调方法，利用法律数据集进一步提高 SaulLM-7B 在法律任务中的性能。SaulLM-7B 以 CC-BY-SA-4.0 许可证发布。

Mar, 2024

介绍了一个新的训练集 BiSECT 和针对 split and rephrase 任务的新模型。利用机器翻译从双语平行语料中提取长英语句子并与相应的较短、意思等效的英语句子配对。该模型针对输入句子中的特定区域进行分割和编辑，并利用训练集 BiSECT 在自动和人为评估中提高了先前 Split 和 Rephrase 模型的性能。

Sep, 2021