在法律案例检索中，利用预训练语言模型的有效性已得到研究证明。然而，现有工作大多侧重于提高上下文嵌入的表示能力，并使用文本语义相似性计算相关性。本研究引入 DELTA，一种针对法律案例检索设计的判别模型，通过将上下文化嵌入与关键事实靠近并远离非关键事实，提升了学习表示的区分能力。实验证明，我们的方法在公开可用的法律基准测试中胜过现有最先进方法，并为深入理解和处理法律案例文件提供了新视角。

Mar, 2024

使用领域特定的预训练 BERT 模型提取长文档的句子嵌入，并通过 Transformer 编码层进行进一步处理，并利用无监督聚类从这些嵌入中提取隐藏标签，以更好地预测法律案例的判断结果。在 ILDC 数据集上的多次实验表明，该机制的性能提高超过先前提出的方法。实验结果也显示了法律信息处理中领域特定预训练 Transformer 编码器的重要性。

Nov, 2023

本研究比较了四种多标签分类方法，其中两种基于编码器，两种基于编码器 - 解码器。结果表明，在多个数据集上使用编码器 - 解码器方法比仅编码器表现更好，其非自回归编码器 - 解码器方法获得了最优表现。

May, 2023

该研究比较了不同策略下的预训练编码器在低数据量情境下的命名实体识别表现，结果表明编码器表现存在显著差异，并需要结合具体场景进行评估选择。

Apr, 2022

通过使用多级编码器层次框架（MESc）以及大型语言模型和无监督聚类方法，我们研究了在没有结构注释的情况下，从大型法律文件中预测裁决的问题，并测试了这些方法在法律领域的转移学习能力和效果，我们的方法相较于之前的最先进方法取得了至少 2 个性能指标的增益。

Mar, 2024

本文提出 SAILER，一个基于结构感知的先训练语言模型，适用于法律案例检索，实验证明其能在公共数据集上显著优于现有方法。

Apr, 2023

通过研究专用模型和处理长文本，探索法律评判预测任务中的特殊模型和通用模型的表现，以提高性能。

Feb, 2024

本文对传统词嵌入模型与 BERT 模型在人权法庭裁决文本的法条分析任务中的表现进行了比较，实验证明领域特定的 BERT 模型有很大的潜力，而传统的词嵌入模型在与神经网络层结合后也能表现出很强的性能。

Feb, 2022

通过将专业的法律知识与大型语言模型相结合，KELLER 引入了一种基于大型语言模型的法律案例重构方法，用于实现有效和可解释的法律案例检索，并在两个法律案例检索基准上展示了 KELLER 相比现有方法在复杂法律案例查询方面的卓越性能和鲁棒性。

Jun, 2024

对于长达数万字、结构不均匀的案例文件，自动法律判决预测及其解释存在困难。本研究使用称为 MESc 的深度学习分类框架，通过定义 “缺少结构化信息的法律文档” 问题，尝试从这些缺少结构标注的长文档中提取解释。同时，我们还研究了拥有数十亿参数的大型语言模型（GPT-Neo 和 GPT-J）在法律文本和领域内迁移学习方面的适应性，并将其性能与 MESc 及其最后层嵌入的组合进行了比较。对于这种层次模型，我们提出了一种名为 ORSE 的解释提取算法，即基于遮蔽敏感性的相关句子提取器。

Sep, 2023