质疑案件判决摘要中的偏见:法律数据集还是大型语言模型?
本文使用自然语言处理技术,比较了基于关键词和逻辑运算符的传统方法与基于 Claude 2 大型语言模型的创新方法,在英国法院裁决案例的大语料库中提取总结性判决案例。结果表明,大语言模型的加权 F1 得分为 0.94,而关键词法的得分仅为 0.78,说明大语言模型在捕捉法律语言中的细微差别方面更加有效。本文展示了先进自然语言处理技术在核心法律研究任务中的应用,并且阐明了这些技术如何填补系统性差距并提升法律信息的可获取性。同时,我们分享了提取的数据集度量,以支持进一步的总结性判决研究。
Mar, 2024
概括是大型语言模型(LLMs)的一个重要应用,先前的评估主要关注它们在内容选择、语法和连贯性方面的表现,但众所周知 LLMs 会传递和强化有害的社会偏见,因此我们需要研究这些偏见是否会影响文摘模型的输出。为了回答这个问题,我们首先提出了一些针对文摘模型中的偏见行为的定义,并介绍了实际的度量方法。然后,为了避免输入文档中的内在偏见对分析的干扰,我们提出了一种方法来生成具有精细控制的人口属性的输入文档。最后,我们将我们的度量方法应用于专为文摘模型和通用聊天模型生成的文摘中,发现单一文档的内容选择似乎在很大程度上不受偏见的影响,而虚构现象显示出有偏见传播到生成的文摘中的证据。
Sep, 2023
大型语言模型中的社会偏见评估和缓解技术的综述,介绍了社会偏见与公平的概念、评估指标和数据集,以及介绍了干预方法的分类和研究趋势,帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。
Sep, 2023
通过对八种流行的大型语言模型在三个临床病例描述数据集上进行严格评估和分析,我们发现这些模型在受保护群体之间存在各种不同程度的社会偏差,而大小模型并不一定比通用模型更具偏见,经过设计决策的提示方式对社会偏差也有影响,研究呼吁对在临床决策支持应用中使用的大型语言模型进行进一步评估、审查和改进。
Apr, 2024
人工智能对传统司法行业产生了重大影响。最近,随着 AI 生成内容的发展,人工智能和法律在图像识别、自动文本生成和交互式聊天等领域得到应用。然而,法律领域的大型语言模型的应用仍处于初级阶段。本文对法律领域的大型语言模型进行了全面调查,揭示了它们在司法系统中的应用。同时,我们还讨论了法律领域大型语言模型的实际实施,如为用户提供法律咨询和协助法官审理案件。此外,我们探讨了法律领域大型语言模型的局限性,包括数据、算法和司法实践。最后,我们总结了实际建议并提出了未来发展方向以解决这些挑战。
Nov, 2023
利用大型语言模型进行相关判决的准确性研究,提出了一种适用于法律案例相关判决的新型工作流程,并通过与人工专家判断的比较,证明了该工作流程可以获得可靠的相关判决,并通过大型语言模型生成的数据综合增强现有的法律案例检索模型的能力。
Mar, 2024
本文介绍了如何将大型语言模型 LLMS 应用于法律领域,对应用于法律任务的不同方法进行了讨论,并探讨了使用 LLMS 所引发的隐私、偏见等法律问题,提出了数据资源领域学习上下文中的一些潜在方向。希望为当前 LLMS 的法律应用现状提供概述,同时强调其集成的潜在益处和挑战。
Mar, 2023
通过开发和应用新的法律分析分类法,本文对英国的判决摘要案例进行主题建模。研究发现法律大数据模型在正确分类主题上的准确率为 87.10%。该分析揭示了在不同法律领域中适用判决摘要的独特模式,为英国法律提供了一种新的分类法。这项工作的意义在于为后续研究和政策讨论提供基础,推动司法管理和计算法律研究方法的发展。
May, 2024
人工智能和大型语言模型的进步正在给法律领域的自然语言处理任务带来深刻的转变。大型语言模型在法律部门展示出越来越多独特的优势和各种挑战。本调查研究了大型语言模型与法律系统之间的协同作用,例如在法律文本理解、案例检索和分析等任务中的应用。此外,该调查还突出了大型语言模型在法律领域面临的关键挑战,包括偏见、可解释性和道德考虑,以及研究人员如何解决这些问题。调查展示了针对不同法律体系量身定制的最新进展,以及用于各种语言的大型语言模型微调的法律数据集。此外,它提出了未来研究和发展的方向。
Apr, 2024
为了解决多个司法管辖区缺乏数据集的问题,我们提出了 CLSum,这是用于总结多司法管辖区普通法法院判决文件的第一个数据集。此外,本文还首次采用基于大型语言模型(LLM)的数据增强、摘要生成和评估方法来进行法院判决摘要研究,实验证明 LLM 方法在少样本和零样本设置下能够表现良好,同时本文还进行了全面的对比实验,找到能够提高摘要性能的关键模型组成部分和设置。
Mar, 2024