EMNLPOct, 2023

ChatGPT 能否像律师一样利用 IRAC 法进行法律场景分析的推理？

PDF
TL;DR大语言模型（LLMs）在法律领域近期受到了很多关注，因为它们具备处理各种法律任务的新兴能力。然而，目前还不清楚 LLMs 是否能够像律师一样分析法律案例并进行推理。因此，我们构建了一个新颖的语料库，其中包含与马来西亚合同法和澳大利亚社会法的相关情景。采用 IRAC 方法将 ChatGPT 应用于语料库的分析，IRAC 方法是法律专业人员广泛使用的组织法律分析的框架。语料库中的每个情景都以半结构化格式注释了完整的 IRAC 分析，以便机器和法律专业人员能够解释和理解这些注释。此外，我们首次对 ChatGPT 在 IRAC 分析方面进行了实证评估，以了解它与法律专业人员分析的吻合程度。我们的实验结果为提高 LLMs 与法律专家在法律推理方面的对齐性指明了可能的未来研究方向。
large language modelslegal domainanalysisirac methodlegal reasoning
发现论文，激发创造
  • ChatGPT 在声明验证背景下的推理能力评估

    我们提出了一个基于逻辑推理的框架，用于将宣称或传言与证据分解为验证所需的原子推理步骤，并通过维基百科的合成数据集和在 Twitter 上流传的谣言的真实数据集对 GPT-3.5-Turbo 和 GPT-4（以下简称 ChatGPT）的推理能力进行评估，结果显示 ChatGPT 在因果推理方面存在困难，但通过使用手动 Chain of Thought（CoT）而不是 Zero Shot（ZS）和 ZS CoT 方法可以在一定程度上缓解这一问题。我们的研究为 ChatGPT 的推理过程不太可能与人类类似的推理过程相一致，并且指出 LLMs 需要在高风险的实际任务（如宣称验证）中进行更严格的评估，以区分炒作和实际能力。

    Feb, 2024

  • 加密货币证券案件中的大型语言模型：ChatGPT 能否替代律师？

    大型语言模型可以提高对法律系统的访问，但是目前很少有关于它们在进行法律任务方面有效性的实证研究。本研究以涉及加密货币的证券案件为背景，研究了语言模型的法律推理和起草能力。我们使用真实案例的情节喂给 GPT-3.5，并评估其确定正确违规行为的能力。研究发现，GPT-3.5 的法律推理能力较弱，但在法律起草方面表现更好。虽然目前无法取代律师，但这些模型的起草能力可以通过降低法律服务成本，为更多人提供司法公正的机会。本研究是第一个系统研究大型语言模型在诉讼、证券法和加密货币相关不当行为中的法律起草和推理能力的研究。

    Aug, 2023

  • 聊天 GPT 在对话中的话语分析潜力：实证研究

    本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

    May, 2023

  • ChatGPT 是否能捍卫真相？自动辩证评估揭示了大语言模型推理中的不足

    我们探讨了如何通过进行辩论式的对话来测试大型语言模型（LLM）的推理能力，以此来衡量模型是否真正理解了问题的本质。对多个复杂的推理测试进行实验表明，尽管 ChatGPT 等模型一开始可以生成正确的解决方案，但在面对荒谬的无效论据时，它们无法保持对真理的信仰。

    May, 2023

  • 探索 ChatGPT 的人工智能伦理：一项诊断分析

    通过对 OpenAI 的 ChatGPT 进行定性研究，发现大规模语言模型的伦理风险主要包括偏见性和毒性，当前的基准测试无法解决这些问题，为了避免语言模型应用中出现伦理风险，需要制定可靠的基准测试和实施设计。

    Jan, 2023

  • 一个多任务、多语言、多模态的 ChatGPT 推理、幻觉和交互评估

    本文提出了一个评估 ChatGPT 等交互式 LLM 的框架，使用公开数据集进行多任务、多语言和多模态方面的评估，发现 ChatGPT 能够生成多模态内容，但是其推理能力较差，存在幻觉问题，但通过 “提示工程” 可以与人类协作，提高性能。

    Feb, 2023

  • ChatGPT 的一致性分析

    我们调查了 ChatGPT 的可靠性和逻辑一致性。发现虽然 ChatGPT 在语言理解能力方面有所提高，但它仍经常无法生成逻辑上正确的预测；因此，我们得出结论：在没有充分人工检查的情况下，在真实世界的风险敏感领域中使用 ChatGPT 需要进一步考虑。

    Mar, 2023

  • 评估 ChatGPT 和 GPT-4 的逻辑推理能力

    本研究评估了 GPT-4 在逻辑推断任务中的性能，包括多项逻辑推断数据集的测试以及构建一个逻辑推理离散数据集进行实验。结论显示，尽管 GPT-4 表现优异，但逻辑推理对 ChatGPT 和 GPT-4 来说仍然是一项挑战。

    Apr, 2023

  • ChatGPT 是否是一个良好的因果推理器？综合评估

    本文对 ChatGPT 的因果推理能力进行了全面评估。实验结果表明，ChatGPT 在因果推理方面存在严重的幻觉，主要由于自然语言中因果关系和非因果关系之间的汇报偏差以及 ChatGPT 的升级过程。此外，在提示中使用的表达因果概念的单词对 ChatGPT 的因果推理能力产生重要影响，针对性较强的提示表现更好。ChatGPT 主要擅长捕捉显式的因果关系，对隐式的因果关系处理能力相对较差，对句子中事件密度较低和事件之间词汇距离较小的情况处理效果较好。

    May, 2023

  • 桥 接 法律 与 数据：通过 IRAC 方法增强 推理的 半结构化 数据 集

    LEGALSEMI 是一个专门为法律情境分析而制作的基准库，包含 54 个经过法律专家严格注释的法律情境，每个情境都基于完整的 IRAC 框架（问题、规则、应用、结论），并伴随着一个结构化知识图谱（SKG）。通过对四种不同的 LLM 进行一系列实验，实验结果显示了 LEGALSEMI 在问题识别、规则检索、应用和结论生成等方面的有效性。

    Jun, 2024