税法蕴涵推理与问答的法规推理数据集
该研究将立法推理问题分解为四种类型的语言理解挑战问题,通过介绍 Prolog 程序中发现的概念和结构,为三种基准提供了注释和基线,并证明它们的模型受益于附加的结构,并且分解为子任务有助于更细粒度的模型诊断和更清晰的递增计划。
May, 2021
我们将法定推理重新定义为一个类比任务,通过将两个法定推理实例进行组合,增加了数据集的大小并引入了可解释性。我们证明这个任务对于自然语言处理模型来说与原始任务大致相同难度。最后,我们通过检索机制和类比模型的组合解决法定推理,并在之前的可比工作的基础上取得了一些进展。
Jan, 2024
本文探索了最强大的 GPT-3 模型 ——text-davinci-003,在一个已建立的立法推理数据集 SARA 上的能力,并尝试了各种方法,包括动态少量提示、思维链提示和零提示。尽管我们在 GPT-3 中取得了优于以前发表的最佳结果的成果,但我们也发现了它的一些明显错误。通过研究为什么会出现这些错误,我们发现 GPT-3 对 SARA 基于的实际美国法规的先前知识有所欠缺。更重要的是,GPT-3 在回答有关简单的合成法规的直接问题时表现不佳。当将合成法规用句子形式书写时,提出相同的问题,我们发现 GPT-3 的一些差的表现是由难以解析通常包含子节和段落结构的法规的典型结构造成的。
Feb, 2023
近年来,生成人工智能(GenAI)技术的普及,如预训练的大规模语言模型(LLMs),在计算法律领域开辟了新的前沿。本文介绍了在将人工智能应用于法规和合同法中自动化的基于规则推理的激动人心的领域,并提出了几个自动化软件测试和程序分析的概念,这些概念在利用人工智能进行法规和合同分析时可能非常有用。
Apr, 2024
本文介绍了一个新的自然语言处理任务和数据集,基于美国民事诉讼领域,旨在为评估现代法律语言模型提供具有挑战的任务。研究表明,fine-tuning 法律 transformer 模型相对于随机基线模型更有优势,但推理法律论点的实际能力仍是具有挑战性的开放性研究问题。
Nov, 2022
该研究是一篇关于自然语言推理的调查论文,提出了 NLP 领域内自然语言推理的概念和实践上的更清晰的视角,并提供了哲学和 NLP 场景的基础上自然语言推理的清晰定义、分类,以及各种任务需要做出推理、回溯推理技术和 defeasible reasoning 未来发展的前景等方面的综述。
Mar, 2023
该篇研究探讨了关于 NLP 中的可解释性或解释性是如何应用在法律文本中的,为了更好的满足用户的需求,我们提出了一种基于段落的理由提取的方法,并引入了一个新的数据集,对已有的规则进行了研究和探究。结果表明,该任务非常具有挑战性并需要深入研究。
Mar, 2021