AAAIJun, 2020

ReCO：一个关于观点的大规模中文阅读理解数据集

PDF
TL;DR本文介绍了以意见为主题的 ReCO 数据集，该数据集是目前中文阅读理解数据集中最大的，其中需要进行因果推理、逻辑推理等各种推理技能。与传统数据集不同的是，ReCO 除了提供上下文段落外，还提供支持证据，这为机器阅读理解提供了很好的挑战。
发现论文，激发创造
  • 首届中文机器阅读理解评测数据集

    本文提出了一种新的中文阅读理解数据集 —— 包括选择题和用户问题阅读理解，并且是人工验证和隐藏测试集的大规模训练数据。同时，还举办了首届中文机器阅读理解评估（CMRC-2017），成功吸引了数十名参与者。

    Sep, 2017

  • CJRC: 一个可靠的人工标注中文司法阅读理解基准数据集

    本研究介绍了一个含有近 10K 文档和近 50K 个问题及其答案的中国司法阅读理解 (CJRC) 数据集，基于 Bert 和 BiDAF 构建了两个强基准模型，实验结果显示与人工标注员的表现相比仍有进步的空间。该数据集可用于司法领域中元素提取的机器阅读理解技术研究。

    Dec, 2019

  • RACE: 大规模考试阅读理解数据集

    RACE 是一个用于中学生阅读理解任务评估的新数据集，由近 28,000 个人类专家（英语教师）生成的近 100,000 个问题组成，涵盖了各种主题，特别是对推理的要求比其他基准数据集要高，是研究和评估机器理解的有价值的资源。

    Apr, 2017

  • ReClor：需要逻辑推理的阅读理解数据集

    本研究旨在引入一个新的、需要逻辑推理的阅读理解数据集（ReClor），以推动对文本更全面的推理。实证研究结果表明，针对存在偏见的数据点并将其分为简单和困难集合，可对模型的逻辑推理能力进行全面的评估，从而在提高模型性能的同时，推动领域内更多的研究。

    Feb, 2020

  • ReCoRD: 人机常识阅读理解之桥

    本文介绍了一种称为 ReCoRD 的大型数据集，并在此基础上展示了机器阅读理解需要常识推理，即目前最先进的 MRC 系统表现远远落后于人类，因此该数据集为未来的研究提供了一个挑战，以弥合人类和现有机器的常识阅读理解之间的差距。

    Oct, 2018

  • 中文机器阅读理解的跨度抽取数据集

    本文介绍了一个针对中文机器阅读理解的 Span-Extraction 数据集及其挑战集，共包含近 20,000 个人类专家在维基百科段落中标注的真实问题，并发布了 CMRC 2018 的评估工作坊，旨在进一步推进中文机器阅读理解研究。

    Oct, 2018

  • DuReader: 来自真实应用场景的中文机器阅读理解数据集

    介绍了 DuReader，它是一个新的大规模、开放领域的中文阅读理解数据集，它通过基于百度搜索和百度知道的问题和文献数据源，提供更多种类的问题注释，尤其是是非和观点问题，并且它是迄今为止最大的中文机器阅读理解数据集。此外，为了帮助社区取得更好的结果，DuReader 和基准系统已经在线发布，也组织了共同的竞赛。这份调研表明，人类的表现明显优于当前的基线系统，为研究人员提供了更多的研究机会和空间。

    Nov, 2017

  • DRCD：一个中文机器阅读理解数据集

    介绍 DRCD (Delta Reading Comprehension Dataset)，这是一个面向开放领域的传统中文机器阅读理解数据集，包含来自 2,108 个维基百科文章的 10,014 段落和超过 30,000 个问题。我们构建了一个基准模型，其 F1 得分为 89.59%，人类表现的 F1 得分为 93.30%。

    Jun, 2018

  • ReviewQA：一个基于关系和方面的意见阅读数据集

    本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

    Oct, 2018

  • 通过问题重述使开放域问答变为对话

    介绍一个新数据集，用于在对话上下文中重新提问问题，提供了对问题改写、网页检索和阅读理解的指标。通过组合先进的问题重写模型和开放域 QA 的竞争模型，该方法显示出了 QReCC 数据集的效力，并证明了该设置的困难性和大量改进的空间。

    Oct, 2020