本文介绍了一个新的自然语言处理任务和数据集，基于美国民事诉讼领域，旨在为评估现代法律语言模型提供具有挑战的任务。研究表明，fine-tuning 法律 transformer 模型相对于随机基线模型更有优势，但推理法律论点的实际能力仍是具有挑战性的开放性研究问题。

Nov, 2022

本文总结了团队 SCaLAR 在《SemEval-2024 任务 5：民事诉讼中的法律论证》方面的工作。我们提出了一种简单而又新颖的基于相似度和距离的无监督方法来生成标签，以解决该二元分类任务。此外，我们通过使用 CNN、GRU 和 LSTM 等集成特征和多级融合的 Legal-Bert 嵌入来探索解决法律文本复杂性的问题。为了解决数据集中冗长的法律解释，我们引入了基于 T5 的分段摘要，成功保留了关键信息，提高了模型的性能。我们的无监督系统在开发集上的宏 F1 得分增加了 20 个百分点，在测试集上增加了 10 个百分点，这是一个令人鼓舞的结果，考虑到其简单的架构。

Mar, 2024

本文介绍了我们在 SemEval 2024 任务 5 中提出的内容：民事诉讼中的法律争议推理任务。我们提出了解决法律答案验证问题的两种方法：首先，对预训练的 BERT 模型进行了微调，并发现基于领域知识训练的模型效果更好；其次，我们对 GPT 模型进行了少样本提示，发现将答案验证任务改为多项选择问题显著提高了模型的性能。我们的最佳模型是基于 BERT 的模型，在 20 个参赛作品中取得了第 7 名。

Apr, 2024

本研究通过参与 COLIEE 2021 的法律案例蕴含任务，考察了预训练语言模型在法律领域的迁移能力。实验结果表明，在有限标记数据的情况下，与适应目标任务的 Fine-tuning 模型相比，没有或只部分适应的模型对数据分布的更改更加稳健。

Feb, 2022

本文讨论使用 MultiEURLEX 数据集进行零样本跨语言转移的法律主题分类，介绍了新版本的数据集和使用基于翻译的方法相对于之前最佳的跨语言预训练模型调参的方法的改进，同时提出了一种基于双语教师 - 学生的零样本转移方法。

Jun, 2022

使用强大的 ChatGPT 模型作为教师模型，通过生成解释和合成数据来扩展训练数据集，并利用生成的数据微调一个小型学生模型。与以往的工作不同，我们的解释不是直接来自教师模型的内部知识，而是基于真实人类分析，从而提供出更优的推理信号。还使用一种新的 “变异” 方法生成受现有数据启发的人工数据实例。我们公开发布这些解释作为原始数据集的扩展，以及用于生成两者的提示。我们的系统在 SemEval 比赛中排名第 15 位。它的性能优于自身教师模型，并且能够生成与原始人类分析一致的解释，经过法律专家验证。

May, 2024

本文中，我们使用了零 shot 模型在 COLIEE 2022 的法律案例蕴含任务中进行了实验，并发现语言模型参数数量的增加可以提高 F1 分数，尤其是对于该任务。我们的 3B 零 shot 模型在 COLIEE 2021 测试集中表现优异，在 COLIEE 2022 比赛中也取得了最佳表现，其次是由 3B 模型本身和较小版本的模型组成的集成模型。此外，我们还演示了零 shot monoT5-3b 模型在生产中如何作为搜索引擎使用，包括用于法律文件。

May, 2022

近期自然语言处理（NLP）在法律领域的应用面临诸多挑战，包括极长的序列长度、专业词汇仅律师才能理解以及数据不平衡。大型语言模型（LLMs）的出现为 NLP 在法律领域提供了新的机会。本研究旨在量化普通 LLMs 与领域特定模型在法律领域的表现，通过比较三个通用 LLMs（ChatGPT-20b，LLaMA-2-70b 和 Falcon-180b）在 LexGLUE 合同条款分类基准测试集上的零样本性能。尽管 LLMs 未经专门训练法律数据，但我们观察到它们在大多数情况下仍能正确分类主题。然而，我们发现它们的微 F1 / 宏 F1 性能比在法律领域微调的较小模型要低 19.2/26.8％，这凸显了需要更强大的法律领域 LLMs。

Nov, 2023

本文探讨了零样本 / 小样本以及微调方法在法律推理任务中的表现，结果发现，源于特定法律推理技术的提示能够获得最佳结果。实验最终将最佳结果从 0.7037 提升至 0.8148，并且准确性高于 2022 最佳系统的 0.6789，为 0.7431。

Dec, 2022

该论文将欧洲人权法院的法律判决预测转化为一种基于文章的分类任务，并通过领域自适应方法提高零样本转移性能。实验表明这种基于文章的架构优于直接的事实分类，并发现领域自适应方法可以提高性能。

Feb, 2023