Jun, 2024

STARD：一个包括非专业人员发出的真实查询的中文法规检索数据集

PDF
TL;DR为了填补现有法律查询数据集对非专业用户提出的实际查询的不足，本文引入了 STAtute Retrieval Dataset（STARD），该数据集由 1543 个来自现实世界法律咨询的查询案例和 55348 个候选法规文章组成，并通过对各种检索基线模型进行综合评估，揭示了现有检索方法在非专业用户提交的实际查询中的不足，为进一步探索和研究提供了必要性。
statute retrievalstatute retrieval datasetnon-professional queriesretrieval baselineslegal advice
发现论文，激发创造
  • 一份法语法规条文检索数据集

    介绍了比利时法规文章检索数据集（BSARD），同时在该数据集上评测了几种最先进的检索算法，发现精调密集检索模型显著优于其他系统，最终在该数据集任务中取得了 74.8% R@100 的良好成绩。

    Aug, 2021

  • 通过图神经网络增强法规条款检索的搜索能力

    本文提出一种结合了法律文本组织结构的图神经网络模型，通过稠密检索来检索法规文章，该方法有效提高了检索性能。

    Jan, 2023

  • LeCaRDv2：一个大规模的中文法律案例检索数据集

    智能法律系统中的重要组成部分，法律案例检索在确保司法公正和公平方面起着关键作用。为了解决现有数据集中的三个问题，本研究介绍了一个大规模的法律案例检索数据集 LeCaRDv2，并丰富了现有的相关性标准，同时提出了一个有效识别潜在候选项的候选集合策略。在 LeCaRDv2 上评估了多个检索模型，表明法律案例检索仍有很大的改进空间。

    Oct, 2023

  • STaRK: 在文本和关系知识库上评估 LLM 检索的基准

    回答真实世界中的用户查询，如产品搜索，通常需要从半结构化知识库或涉及混合结构化和非结构化信息的数据库中准确检索信息。我们开发了 STARK，一个基于文本和关系知识库的大规模半结构化检索基准，以填补此间隙，并验证了此基准的质量和实际应用的多样性。我们的实验表明，STARK 数据集对当前的检索系统和大型语言模型系统提出了显着挑战，表明需要构建更具能力的检索系统来处理文本和关系方面的要求。

    Apr, 2024

  • STAR：用于迁移学习的基于模式的对话数据集

    我们提出了 STAR，这是一个包含 127,833 个话语和基于知识库的查询，涵盖 13 个领域，共 5820 个任务型对话的模式引导数据集，旨在促进任务和领域的迁移学习。此外，我们提出了一种可扩展的众包范例，用于收集与 STAR 质量相同的任意大的数据集。此外，我们引入了新颖的模式引导对话模型，通过对任务的明确描述将从已知的任务泛化到未知的任务，证明了这些模型的有效性，尤其是在任务和领域的零 - shot 推广方面。

    Oct, 2020

  • CSPRD：中国股市金融政策检索数据集

    近年来，预训练语言模型（PLMs）取得了巨大进展，在密集文段检索方法上取得了令人满意的性能，旨在通过给定的问题从大规模语料库中检索相关文段。然而，现有数据集大多采用常识事实查询对模型进行基准测试，而金融和经济等专业领域由于缺乏大规模高质量的专家注释数据集而未被深入研究。本研究提出了一项新任务，即政策检索，通过引入中文股票政策检索数据集（CSPRD），该数据集由经验丰富的专家使用我们收集的中国政策语料库中的相关文章对 700 多个招股说明书文段进行了标注。对词汇、嵌入和经过微调的双编码模型进行的实验表明了我们提出的 CSPRD 的有效性，同时也显示出了进一步改进的潜力。我们最佳的基准模型在开发集上达到了 56.1％的 MRR@10，28.5％的 NDCG@10，37.5％的 Recall@10 和 80.6％的 Precision@10。

    Sep, 2023

  • 税法蕴涵推理与问答的法规推理数据集

    研究表明，直接应用机器阅读模型在条例推理过程中的性能不佳，需要通过解决法律领域的挑战来发展在自然语言处理上的模型。

    May, 2020

  • CLERC: 法律案件检索数据集及检索增强分析生成

    通过转化一个大型开源法律语料库为数据集，我们构建了 CLERC（Case Law Evaluation Retrieval Corpus）数据集，用于培训和评估智能系统在寻找相关引用和编写支持推理目标的连贯分析方面的能力。我们在 CLERC 上对最先进的模型进行了基准测试，结果表明目前的方法仍然存在困难。

    Jun, 2024

  • DART: 开放域结构化数据记录到文本生成

    本文提出了 DART 数据集，其中包含超过 82k 条开放领域结构化数据到文本生成实例。我们通过从表中提取语义三元组的方式，以及利用标头之间的语义依赖关系和表标题来编码表的结构，提出了一种数据到文本生成的注释程序。我们还将从开放领域语义解析和对话行为意义表示任务中提取的异构源有效地合并，以及提出了数据集构建框架，利用树本体注释、问答对到陈述句的转换和谓词统一等技术进行最少的后期编辑。我们在 DART 上进行了系统评估，并展示了 WebNLG 2017 的最新成果，证明 DART（1）对现有数据到文本数据集提出了新的挑战，（2）促进了跨领域的泛化。

    Jul, 2020

  • STARC: 面向阅读理解的结构化注释

    STARC 是用于评估阅读理解的结构化注释框架，该框架引入了一种答案选择的有理结构并将其与文本跨度注释绑定。使用 OneStopQA 数据集作为基础，可以使用 STARC 进行自动注释质量探测和机器阅读理解行为与人类进行深入分析和比较。RACE 标准数据集在阅读理解方面有局限性，而 OneStopQA 则为阅读理解提供了一种替代测试集。

    Apr, 2020