MILDSum:用于印度法律案例判决的多语言摘要的新型基准数据集
为了解决多个司法管辖区缺乏数据集的问题,我们提出了 CLSum,这是用于总结多司法管辖区普通法法院判决文件的第一个数据集。此外,本文还首次采用基于大型语言模型(LLM)的数据增强、摘要生成和评估方法来进行法院判决摘要研究,实验证明 LLM 方法在少样本和零样本设置下能够表现良好,同时本文还进行了全面的对比实验,找到能够提高摘要性能的关键模型组成部分和设置。
Mar, 2024
印度司法体系的大部分法律文本由于历史原因以复杂的英语编写而成,然而只有约 10% 的印度人能够阅读英语,因此需要将法律文本转化成各种印度语言,考虑到可用的英文法律文本的翻译。虽然对于印度语言之间的翻译已经有了很多研究,但据我们所知,在法律领域中对于这种翻译的先前工作并不多。在本研究中,我们构建了第一个高质量的法律平行语料库,其中包含了英语和九种印度语言的对齐文本单元,包括一些资源稀缺的语言。我们还对该语料库上的各种机器翻译系统进行了性能评估,其中包括商业机器翻译系统、开源机器翻译系统和大型语言模型。通过对法律从业人员的全面调查,我们了解了他们对其中一些机器翻译系统的满意度,并比较了自动机器翻译评估指标与法律从业人员意见之间的一致性。
Oct, 2023
本文介绍了 PMIndiaSum,一个针对印度语言的多语言和大规模并行的标题摘要语料库,并为单语、跨语言和多语言摘要提供了基准和数据测试。
May, 2023
该研究提出了一种在印度法律文本中标准化文本的方法,并测试了两种最先进的专业无关模型用于法律文本摘要。通过领域专家的评估和 ROUGE 指标的使用,结果表明所提出的文本标准化方法在专业无关模型中的效果很好。
Jun, 2022
本文使用自然语言处理技术,比较了基于关键词和逻辑运算符的传统方法与基于 Claude 2 大型语言模型的创新方法,在英国法院裁决案例的大语料库中提取总结性判决案例。结果表明,大语言模型的加权 F1 得分为 0.94,而关键词法的得分仅为 0.78,说明大语言模型在捕捉法律语言中的细微差别方面更加有效。本文展示了先进自然语言处理技术在核心法律研究任务中的应用,并且阐明了这些技术如何填补系统性差距并提升法律信息的可获取性。同时,我们分享了提取的数据集度量,以支持进一步的总结性判决研究。
Mar, 2024
本文介绍了一个 Hindi Legal Documents Corpus (HLDC) 的语料库,它包含了超过 900K 的清理和结构化的印地语法律文件。通过使用该语料库,我们引入了保释预测的任务,并使用了多任务学习(MTL)模型作为主要任务,用作概括任务的辅助任务。最后,我们释放了此论文的语料库和模型实现代码。
Apr, 2022
通过研究法律数据集和大型语言模型产生的案件判决摘要中存在的偏见,分析其对法律决策的影响,揭示大型语言模型和预训练的摘要模型生成结果中存在的有趣偏见,并探讨这些偏见背后的原因。
Dec, 2023
本文介绍了使用不同的预训练 seq2seq 模型在 ILSUM 2022 数据集上微调的结果,其中使用 PEGASUS 模型得到了最佳的英文结果,使用具有增强数据的 IndicBART 模型得到了最佳的印地语结果,并使用转换映射为基础的方法对瓜拉提语进行了微调并重新运行了 PEGASUS 模型,使用 ROUGE-1、ROUGE-2 和 ROUGE-4 作为评估度量方法进行了推理成果的评估。
Dec, 2022
本研究主要关注以预训练序列到序列模型为基础进行文本摘要的任务,研究内容涉及英语、印地语和古吉拉特语。我们尝试了多种模型,对不同模型在三个子任务上的效果进行了对比,同时对数据大小和过滤对模型效果的影响进行了分析。研究发现在有限的数据大小下,k 折交叉验证可以显著提高模型效果。
Mar, 2023
本研究采用 IndicBART 和 mT5 模型,研究它们在印度语言数据集上的摘要性能,结果以 ROUGE-1、ROUGE-2、ROUGE-3 和 ROUGE-4 分数为性能指标。
Mar, 2023