Nov, 2023

探索半监督层次化堆叠编码器在法律判决预测中的应用

PDF
TL;DR使用领域特定的预训练 BERT 模型提取长文档的句子嵌入，并通过 Transformer 编码层进行进一步处理，并利用无监督聚类从这些嵌入中提取隐藏标签，以更好地预测法律案例的判断结果。在 ILDC 数据集上的多次实验表明，该机制的性能提高超过先前提出的方法。实验结果也显示了法律信息处理中领域特定预训练 Transformer 编码器的重要性。
legal casejudgment predictionbertsentence embeddingsunsupervised clustering
发现论文，激发创造
  • 探索大型语言模型和分层框架用于大规模非结构化法律文件的分类

    通过使用多级编码器层次框架（MESc）以及大型语言模型和无监督聚类方法，我们研究了在没有结构注释的情况下，从大型法律文件中预测裁决的问题，并测试了这些方法在法律领域的转移学习能力和效果，我们的方法相较于之前的最先进方法取得了至少 2 个性能指标的增益。

    Mar, 2024

  • 大型非结构化法律文件中的分类与解释的分层神经框架

    对于长达数万字、结构不均匀的案例文件，自动法律判决预测及其解释存在困难。本研究使用称为 MESc 的深度学习分类框架，通过定义 “缺少结构化信息的法律文档” 问题，尝试从这些缺少结构标注的长文档中提取解释。同时，我们还研究了拥有数十亿参数的大型语言模型（GPT-Neo 和 GPT-J）在法律文本和领域内迁移学习方面的适应性，并将其性能与 MESc 及其最后层嵌入的组合进行了比较。对于这种层次模型，我们提出了一种名为 ORSE 的解释提取算法，即基于遮蔽敏感性的相关句子提取器。

    Sep, 2023

  • 构建多层次摘要的无监督法律文本问答系统

    本文总结了团队 SCaLAR 在《SemEval-2024 任务 5：民事诉讼中的法律论证》方面的工作。我们提出了一种简单而又新颖的基于相似度和距离的无监督方法来生成标签，以解决该二元分类任务。此外，我们通过使用 CNN、GRU 和 LSTM 等集成特征和多级融合的 Legal-Bert 嵌入来探索解决法律文本复杂性的问题。为了解决数据集中冗长的法律解释，我们引入了基于 T5 的分段摘要，成功保留了关键信息，提高了模型的性能。我们的无监督系统在开发集上的宏 F1 得分增加了 20 个百分点，在测试集上增加了 10 个百分点，这是一个令人鼓舞的结果，考虑到其简单的架构。

    Mar, 2024

  • CaseEncoder：一种知识增强的预训练模型，用于法律案例编码

    本研究提出了 CaseEncoder，一种利用法律领域细粒度知识进行预训练的法律文件编码器，它通过优化训练数据质量和设计法律特定的预训练任务，在零样例的情况下显著优于现有的通用预训练模型和法律专用的预训练模型。

    May, 2023

  • 英文下的神经网络法律判决预测

    本文发布了一个新的英文司法判决预测数据集，通过使用各种神经模型对该数据集进行评估，建立了强大的基准线，并探索了模型是否会受到人口统计信息的偏见影响。作为一个附带产品，我们提出了 BERT 的分层版本，绕过 BERT 的长度限制。

    Jun, 2019

  • 利用长文本编码器改进罗马尼亚语法律判断预测

    通过研究专用模型和处理长文本，探索法律评判预测任务中的特殊模型和通用模型的表现，以提高性能。

    Feb, 2024

  • 利用文档结构优化无监督法律案例摘要提取

    通过使用无监督的基于图形的排名模型，并使用重新加权算法来利用法律判决文件结构的特性，本研究研究了使用不同方法计算文档结构的影响，结果在加拿大法律案例实验数据集上表明了我们提出的方法优于多个强基线。

    Nov, 2022

  • DELTA: 通过结构化词语对齐，预先训练一个判别性编码器用于法律案件检索

    在法律案例检索中，利用预训练语言模型的有效性已得到研究证明。然而，现有工作大多侧重于提高上下文嵌入的表示能力，并使用文本语义相似性计算相关性。本研究引入 DELTA，一种针对法律案例检索设计的判别模型，通过将上下文化嵌入与关键事实靠近并远离非关键事实，提升了学习表示的区分能力。实验证明，我们的方法在公开可用的法律基准测试中胜过现有最先进方法，并为深入理解和处理法律案例文件提供了新视角。

    Mar, 2024

  • SLJP：基于语义提取的法律判决预测

    基于语义提取的法律判决预测（SLJP）模型通过使用预训练转换器来理解复杂的非结构化法律案例文档并生成嵌入向量，从而在印度的法律系统中提供技术辅助，解决了多年来在各个法院积压的数亿案件的问题。

    Dec, 2023

  • 司法援助用句子嵌入的分类

    本文旨在解决 AILA2021（法律协助人工智能）中的任务之一，在使用 BERT 获取的句子嵌入和线性分类器的结合下，将文档在语义上分割为 7 个预定义标签或 “修辞角色”，通过对实验加权分析，表明赋予最高频率类别更大的权重可获得更好的结果。在任务 1 中，团队 legalNLP 获得了 0.22 的 F1 分数。

    Feb, 2022