Jun, 2024

桥 接 法律 与 数据：通过 IRAC 方法增强 推理的 半结构化 数据 集

PDF
TL;DRLEGALSEMI 是一个专门为法律情境分析而制作的基准库，包含 54 个经过法律专家严格注释的法律情境，每个情境都基于完整的 IRAC 框架（问题、规则、应用、结论），并伴随着一个结构化知识图谱（SKG）。通过对四种不同的 LLM 进行一系列实验，实验结果显示了 LEGALSEMI 在问题识别、规则检索、应用和结论生成等方面的有效性。
large language modelslegal reasoninglegalsemilegal scenario analysisstructured knowledge graph
发现论文，激发创造
  • 建模法律推理：人类共识边缘的语言模型注释

    使用生成式语言模型对复杂任务进行分类的能力有限，需要进行精细调优，而对法律推理的分类则表明人工注释密集的分类方法仍然具有重要意义。

    Oct, 2023

  • Archimedes-AUEB 参与 SemEval-2024 任务 5：LLM 解释民事诉讼程序

    使用强大的 ChatGPT 模型作为教师模型，通过生成解释和合成数据来扩展训练数据集，并利用生成的数据微调一个小型学生模型。与以往的工作不同，我们的解释不是直接来自教师模型的内部知识，而是基于真实人类分析，从而提供出更优的推理信号。还使用一种新的 “变异” 方法生成受现有数据启发的人工数据实例。我们公开发布这些解释作为原始数据集的扩展，以及用于生成两者的提示。我们的系统在 SemEval 比赛中排名第 15 位。它的性能优于自身教师模型，并且能够生成与原始人类分析一致的解释，经过法律专家验证。

    May, 2024

  • ChatGPT 能否像律师一样利用 IRAC 法进行法律场景分析的推理？

    大语言模型（LLMs）在法律领域近期受到了很多关注，因为它们具备处理各种法律任务的新兴能力。然而，目前还不清楚 LLMs 是否能够像律师一样分析法律案例并进行推理。因此，我们构建了一个新颖的语料库，其中包含与马来西亚合同法和澳大利亚社会法的相关情景。采用 IRAC 方法将 ChatGPT 应用于语料库的分析，IRAC 方法是法律专业人员广泛使用的组织法律分析的框架。语料库中的每个情景都以半结构化格式注释了完整的 IRAC 分析，以便机器和法律专业人员能够解释和理解这些注释。此外，我们首次对 ChatGPT 在 IRAC 分析方面进行了实证评估，以了解它与法律专业人员分析的吻合程度。我们的实验结果为提高 LLMs 与法律专家在法律推理方面的对齐性指明了可能的未来研究方向。

    Oct, 2023

  • LegalBench：一个协作构建的基准测试，用于评估大型语言模型在法律推理方面的表现

    介绍了 LegalBench，对 20 个开源和商业的大型语言模型进行了实证评估，并展示了 LegalBench 所提供的研究探索类型。

    Aug, 2023

  • 对法律判决预测的大型语言模型的全面评估

    研究了大型语言模型在法律领域的应用，通过设计基于大型语言模型的实用基准解决方案，并在法律判决预测任务上测试，发现类似案例和多项选择选项对大型语言模型的领域知识回忆至关重要，同时也揭示了信息检索系统在某些情况下超过了大型语言模型与信息检索系统的组合，从而使大型语言模型的角色变得多余。

    Oct, 2023

  • 优化大型语言模型中的逻辑推理以促进法律应用

    通过强化学习与逻辑反馈，加强语言模型在逻辑推理方面的能力，为处理复杂法律推理任务的大型语言模型的发展提供新的研究途径，并承认了语言与逻辑之间的基本联系。

    Nov, 2023

  • LegalBench：构建适用于法律推理的协同基准测试

    本文旨在探讨基础模型是否能被引导到执行涉及法律推理的任务，并通过 IRAC 框架指导建立基于基础模型的 benchmark。我们提出了一个包含 44 个任务的种子集，呼吁法律和计算机科学界加入我们的努力。

    Sep, 2022

  • 通过知识图谱集成协作的强化提示型 LLM 推理方案

    利用大型语言模型 (LLMs) 和知识图谱 (KG) 的协作训练方法，本研究在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使得 LLMs 能更可靠地进行基于知识的推理，并同时明确阐述推理过程，实验结果表明本方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进的方法提高了超过 10%，为今后的知识图谱和大型语言模型融合研究提供了有价值的参考，提升 LLMs 在解决复杂问题上的能力。

    Feb, 2024

  • CLERC: 法律案件检索数据集及检索增强分析生成

    通过转化一个大型开源法律语料库为数据集，我们构建了 CLERC（Case Law Evaluation Retrieval Corpus）数据集，用于培训和评估智能系统在寻找相关引用和编写支持推理目标的连贯分析方面的能力。我们在 CLERC 上对最先进的模型进行了基准测试，结果表明目前的方法仍然存在困难。

    Jun, 2024

  • REASONS: 使用公开和私有的大型语言模型进行科学句子的检索和自动引用

    大型语言模型（LLM）是否能根据直接查询和间接查询在文档或报告中生成参考文献是智能分析、网络安全、新闻机构和教育人员至关重要的问题。本研究通过调查大型语言模型在生成参考文献任务中的表现，引入名为 REASONS 的大型数据集，以科学研究领域的 12 个最热门领域的摘要为基础，得出相关结论，并提供有关自动引文生成任务可靠性的有价值的见解。

    May, 2024