本研究探讨了如何从零开始构建多个特定领域的多语言语言模型，并测试了它们在法律语料库上的效果。同时，研究者还讨论了模型的压缩方法，以减少计算资源和经济成本并保持模型性能。

Oct, 2022

本研究通过参与 COLIEE 2021 的法律案例蕴含任务，考察了预训练语言模型在法律领域的迁移能力。实验结果表明，在有限标记数据的情况下，与适应目标任务的 Fine-tuning 模型相比，没有或只部分适应的模型对数据分布的更改更加稳健。

Feb, 2022

本文研究了 BERT 在法律领域中的适应性指南并提出使用原始 BERT、在领域特定语料库上进行追加预训练的 BERT 和在领域特定语料库上从头开始预训练的 BERT 三种策略。并针对下游任务进行更广泛的超参数搜索空间，并发布了 LEGAL-BERT，用于辅助法律 NLP 研究、计算法律和法律技术应用。

Oct, 2020

探究数据集大小、训练数据集和测试数据集的划分、人工标注标签准确性等对深度学习分类器性能的影响，指出类的语义同质性会影响分类的难度，并讨论数据集属性评估的建立方法以及数据集增强可以作为提高 AI&Law 各种任务分类性能的另一条途径。

Jan, 2022

在大语言模型时代，提高计算资源的有效利用需求变得非常重要。本文基于 LoRA 精调方法，引入了一种新颖的参数高效训练技术，通过频繁改变可训练参数的一部分，提高了有效的预训练。我们的方法不仅在预训练阶段实现了内存和计算开销减少，与当前最先进的参数高效算法相当，而且保持了与完全预训练相当的准确性水平。我们提供了理论分析和实证证据来证明我们的方法的有效性。

Jun, 2024

近期自然语言处理（NLP）在法律领域的应用面临诸多挑战，包括极长的序列长度、专业词汇仅律师才能理解以及数据不平衡。大型语言模型（LLMs）的出现为 NLP 在法律领域提供了新的机会。本研究旨在量化普通 LLMs 与领域特定模型在法律领域的表现，通过比较三个通用 LLMs（ChatGPT-20b，LLaMA-2-70b 和 Falcon-180b）在 LexGLUE 合同条款分类基准测试集上的零样本性能。尽管 LLMs 未经专门训练法律数据，但我们观察到它们在大多数情况下仍能正确分类主题。然而，我们发现它们的微 F1 / 宏 F1 性能比在法律领域微调的较小模型要低 19.2/26.8％，这凸显了需要更强大的法律领域 LLMs。

Nov, 2023

通过在大量无标注的法律文件上进行微调，利用本地计算机上的预训练的大规模语言模型可以实现生成法律文件草案的任务，并同时保护信息隐私和提高信息安全性。

Jun, 2024

本文中，我们使用了零 shot 模型在 COLIEE 2022 的法律案例蕴含任务中进行了实验，并发现语言模型参数数量的增加可以提高 F1 分数，尤其是对于该任务。我们的 3B 零 shot 模型在 COLIEE 2021 测试集中表现优异，在 COLIEE 2022 比赛中也取得了最佳表现，其次是由 3B 模型本身和较小版本的模型组成的集成模型。此外，我们还演示了零 shot monoT5-3b 模型在生产中如何作为搜索引擎使用，包括用于法律文件。

May, 2022

本文对传统词嵌入模型与 BERT 模型在人权法庭裁决文本的法条分析任务中的表现进行了比较，实验证明领域特定的 BERT 模型有很大的潜力，而传统的词嵌入模型在与神经网络层结合后也能表现出很强的性能。

Feb, 2022

通过引入基于人类司法推理的问 - 辨 - 判 (ADAPT) 推理框架，将大型语言模型 (LLMs) 用于有效的法律判决预测，并通过多任务合成轨迹的微调来提高准确性和效率，本论文在两个广泛使用的数据集上进行了详尽的实验证明了我们的框架在法律判决预测方面的优越性，尤其是对于复杂和混乱的指控。

Jul, 2024