Jan, 2024

更好的呼叫 GPT：大型语言模型与律师的比较

PDF
TL;DR这篇论文通过比较大型语言模型与传统的法律合同审核人员、初级律师和法律流程外包商之间的差异，探讨了 LLMs 是否能在合同审核中在准确性、速度和成本效益方面超越人类。我们的实证分析将 LLMs 与由高级律师设定的标准相比较，发现这些先进的模型在确定法律问题方面与人类准确率相匹配甚至超过。在速度方面，LLMs 仅需几秒完成审核，而人类同行则需要数小时。在成本方面，LLMs 以极低一部分的价格运行，使传统方法的成本大幅降低了 99.97%。这些结果不仅仅是统计数据，它们预示着法律实践的巨变。LLMs 有望颠覆法律行业，提高法律服务的可访问性和效率。我们的研究断言，LLM 在法律合同审核领域的主导地位已经到来，挑战着现状，并呼唤法律工作流程的重新构想。
large language modelslegal contract reviewersaccuracyspeedcost efficiency
发现论文，激发创造
  • 加密货币证券案件中的大型语言模型：ChatGPT 能否替代律师？

    大型语言模型可以提高对法律系统的访问，但是目前很少有关于它们在进行法律任务方面有效性的实证研究。本研究以涉及加密货币的证券案件为背景，研究了语言模型的法律推理和起草能力。我们使用真实案例的情节喂给 GPT-3.5，并评估其确定正确违规行为的能力。研究发现，GPT-3.5 的法律推理能力较弱，但在法律起草方面表现更好。虽然目前无法取代律师，但这些模型的起草能力可以通过降低法律服务成本，为更多人提供司法公正的机会。本研究是第一个系统研究大型语言模型在诉讼、证券法和加密货币相关不当行为中的法律起草和推理能力的研究。

    Aug, 2023

  • 大型语言模型的合法性及局限性：构建强大的法律语言模型的论证

    近期自然语言处理（NLP）在法律领域的应用面临诸多挑战，包括极长的序列长度、专业词汇仅律师才能理解以及数据不平衡。大型语言模型（LLMs）的出现为 NLP 在法律领域提供了新的机会。本研究旨在量化普通 LLMs 与领域特定模型在法律领域的表现，通过比较三个通用 LLMs（ChatGPT-20b，LLaMA-2-70b 和 Falcon-180b）在 LexGLUE 合同条款分类基准测试集上的零样本性能。尽管 LLMs 未经专门训练法律数据，但我们观察到它们在大多数情况下仍能正确分类主题。然而，我们发现它们的微 F1 / 宏 F1 性能比在法律领域微调的较小模型要低 19.2/26.8％，这凸显了需要更强大的法律领域 LLMs。

    Nov, 2023

  • 对法律判决预测的大型语言模型的全面评估

    研究了大型语言模型在法律领域的应用，通过设计基于大型语言模型的实用基准解决方案，并在法律判决预测任务上测试，发现类似案例和多项选择选项对大型语言模型的领域知识回忆至关重要，同时也揭示了信息检索系统在某些情况下超过了大型语言模型与信息检索系统的组合，从而使大型语言模型的角色变得多余。

    Oct, 2023

  • BLT：大型语言模型能应对基础法律文本吗？

    公开可获得的最好的 LLM（如 GPT-4 和 PaLM 2）在律师或律师助理所需的基本文本处理方面表现不佳，我们引入了一个基准来量化这种不良表现，这对于目前的 LLMs 在法律实践中的可靠性提出了疑问。为这些任务进行微调使得一种旧的 LLM 在我们的测试集上接近完美的表现，并提高了与法律相关的任务的表现。这个鲜明的结果凸显了在 LLM 训练中需要更多的领域专业知识。

    Nov, 2023

  • LawBench：大型语言模型法律知识基准评估

    大型语言模型在法律领域的能力评估中，提出了全面评估基准 LawBench，并经过广泛测试发现 GPT-4 是在法律领域表现最好的模型，但还有很大提升空间。

    Sep, 2023

  • 浅析大型语言模型的法律问题

    本文介绍了如何将大型语言模型 LLMS 应用于法律领域，对应用于法律任务的不同方法进行了讨论，并探讨了使用 LLMS 所引发的隐私、偏见等法律问题，提出了数据资源领域学习上下文中的一些潜在方向。希望为当前 LLMS 的法律应用现状提供概述，同时强调其集成的潜在益处和挑战。

    Mar, 2023

  • 大型语言模型是否能够取代人类进行系统评述过程？评估 GPT-4 在筛选和提取多语种同行评议和灰色文献中的数据的效力

    这项研究通过对 GPT-4 在标题 / 摘要筛选、全文审查和数据提取等不同文献类型和语言上的性能测试，发现虽然 GPT-4 在大多数任务上的准确性与人工表现相当，但结果受到偶然一致性和数据集不平衡的影响。调整了这些因素后，GPT-4 在数据提取方面达到了中等水平，而筛选性能则在不同阶段和语言上达到了无到中等的水平。当使用高度可靠的提示筛选全文文献时，GPT-4 的性能几乎完美。对于漏掉了高度可靠提示的关键研究，对 GPT-4 进行惩罚可以进一步提高其性能。我们的研究结果表明，目前在进行系统综述时应谨慎使用 LLM，但对于在可靠提示下完成的特定系统综述任务而言，LLM 可以与人工表现媲美。

    Oct, 2023

  • 使用 LLMs 探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023

  • 阅读注意：大型语言模型在法律实践中的应用

    本文通过结合技术和法律学术的最新发现，对大型语言模型（LLMs）在法律实践中的作用和限制进行了反过来的评估，指出过度乐观的预测将导致 LLMs 在法律领域引发低效和风险。

    Mar, 2024

  • 大型语言模型 “ad referendum”: 在法律领域的机器翻译水平如何？

    这项研究评估了两个最先进的大型语言模型（LLMs）与传统神经机器翻译（NMT）系统在法律领域的四种语言对中的机器翻译（MT）质量，结合自动评估度量标准（AEMs）和专业翻译员的人工评估（HE）来评估翻译的排序、流畅性和足够性。结果表明，虽然谷歌翻译在 AEMs 中的表现通常优于 LLMs，但人工评估员认为 LLMs，特别是 GPT-4，在产生上下文足够且流畅的翻译方面略优或相当。这种差异表明 LLMs 在处理专业法律术语和背景方面具有潜力，并突出了人工评估方法在评估 MT 质量方面的重要性。本研究强调了 LLMs 在专业领域的不断进化能力，并呼吁对传统的 AEMs 进行重新评估，以更好地捕捉 LLM 生成的翻译的细微差别。

    Feb, 2024