Jun, 2022

韩国法律语言理解和判断预测的多任务基准测试

PDF
TL;DR本论文介绍了韩国法律 AI 数据集 LBOX OPEN，该数据集包含了韩国判例文本、案例分类、法规预测、判决预测和摘要生成等多种任务，并发布了第一个基于该数据集训练的韩国法律语言模型 LCUBE，旨在为全球法律研究的多语种发展做出贡献。
deep learningnatural language processingkorean legal ai datasetslbox openlcube
发现论文，激发创造
  • Swiss-Judgment-Prediction: 多语言法律判决预测基准

    通过多语言的法律案例数据集，使用 BERT 模型，成功预测了瑞士联邦最高法院的裁决案例，提高了司法工作效率。

    Oct, 2021

  • 一份关于保险纠纷的韩国法律判决预测数据集

    本文介绍了一个用于保险争议的韩国法律判决预测（LJP）数据集。通过在数据有限的情况下使用 SetFit 方法进行训练，我们实验证明该方法在性能上与韩国 LJP 基准模型相似，尽管数据规模较小。

    Jan, 2024

  • 论法律判决预测：数据集、评估指标、模型与挑战

    该论文通过分析 31 个 LJP 数据集、总结 14 个数据评估指标、回顾 12 个预训练模型以及挑选 8 个代表性数据集呈现状态，以帮助读者了解 LJP 的现状并促进 NLP 研究和法律专业人士的进一步合作。

    Apr, 2022

  • LawBench：大型语言模型法律知识基准评估

    大型语言模型在法律领域的能力评估中，提出了全面评估基准 LawBench，并经过广泛测试发现 GPT-4 是在法律领域表现最好的模型，但还有很大提升空间。

    Sep, 2023

  • 真实法庭环境下的多阶段案件表征学习法律判决预测

    本研究通过多任务学习将案件中的原告索赔、法庭辩论数据进行全面理解，以更准确地预测司法裁决。实验结果表明，该模型相较于强有力的基线算法，具备更好的判决质量和效率，被真实法官和法学生用于实践并证明其具有更好普适性和解释性。

    Jul, 2021

  • ALJP：基于机器学习模型的个人状态案件的阿拉伯语法律判决预测

    本篇文章介绍了一个系统，利用深度学习和自然语言处理技术，通过阿拉伯案例脚本来预测判决结果，特别是在监护和婚姻废止案件中。该系统将协助法官和律师提高工作效率和时间效率，减少判决差异，同时帮助诉讼当事人、律师和法学生在庭审前分析任何给定案件的可能结果。实验结果表明，与五种基线方法相比，在监护案件和婚姻废止案件的判决预测中，利用词向量和 TF-IDF 的 SVM 模型和利用 TF-IDF 的 LR 模型分别达到了 88% 和 78% 的最高准确率。此外，利用词向量的 LR 和 SVM 以及利用 TF-IDF 的 BiLSTM 模型在预测监护案件和婚姻废止案件的结果概率方面达到了 88% 和 69% 的最高准确率。

    Sep, 2023

  • ClassActionPrediction：美国集体诉讼案件法律判断预测的一项具有挑战性的基准测试

    该研究发布了第一个针对美国集体诉讼案件的、基于法律自然语言处理的数据集，利用 Longformer 模型超越人类专家的精度，并明确表明 Longformer 模型比人类专家更好地调整。

    Nov, 2022

  • 提高瑞士判决预测的可解释性与公平性：在多语言数据集上进行基准测试

    对法律判决预测系统中可解释性的评估至关重要，该研究利用瑞士判决预测数据集 (Swiss Judgement Prediction) 研究了多语言 LJP 模型的可解释能力和公平性，并通过全面的支持和反对判决的理由，评估了基于 BERT 的单语言和多语言 LJP 模型的解释性能和预测性能改进的技术。研究结果表明，预测性能的提高并不一定对应于解释性能的增强，强调了从可解释性的角度评估模型的重要性。此外，还引入了一种新的评估框架，即底层法院插入 (Lower Court Insertion)，用于量化底层法院信息对模型预测的影响，揭示了当前模型的偏见。

    Feb, 2024

  • 对法律判决预测的大型语言模型的全面评估

    研究了大型语言模型在法律领域的应用，通过设计基于大型语言模型的实用基准解决方案，并在法律判决预测任务上测试，发现类似案例和多项选择选项对大型语言模型的领域知识回忆至关重要，同时也揭示了信息检索系统在某些情况下超过了大型语言模型与信息检索系统的组合，从而使大型语言模型的角色变得多余。

    Oct, 2023

  • LLM 与律师：在大型英国案例法律数据库中识别摘要判决的子集

    本文使用自然语言处理技术，比较了基于关键词和逻辑运算符的传统方法与基于 Claude 2 大型语言模型的创新方法，在英国法院裁决案例的大语料库中提取总结性判决案例。结果表明，大语言模型的加权 F1 得分为 0.94，而关键词法的得分仅为 0.78，说明大语言模型在捕捉法律语言中的细微差别方面更加有效。本文展示了先进自然语言处理技术在核心法律研究任务中的应用，并且阐明了这些技术如何填补系统性差距并提升法律信息的可获取性。同时，我们分享了提取的数据集度量，以支持进一步的总结性判决研究。

    Mar, 2024