该论文提出了基于心理学和心理测量学的 MRC 数据集设计理论基础，要求未来的数据集应该评估模型构建上下文相关情境的合理和连贯的表示能力，并通过防止捷径的问题和解释来确保实质性有效性。

Apr, 2020

本文提出了一种新的中文阅读理解数据集 —— 包括选择题和用户问题阅读理解，并且是人工验证和隐藏测试集的大规模训练数据。同时，还举办了首届中文机器阅读理解评估（CMRC-2017），成功吸引了数十名参与者。

Sep, 2017

本研究旨在引入一个新的、需要逻辑推理的阅读理解数据集（ReClor），以推动对文本更全面的推理。实证研究结果表明，针对存在偏见的数据点并将其分为简单和困难集合，可对模型的逻辑推理能力进行全面的评估，从而在提高模型性能的同时，推动领域内更多的研究。

Feb, 2020

本文介绍了以意见为主题的 ReCO 数据集，该数据集是目前中文阅读理解数据集中最大的，其中需要进行因果推理、逻辑推理等各种推理技能。与传统数据集不同的是，ReCO 除了提供上下文段落外，还提供支持证据，这为机器阅读理解提供了很好的挑战。

Jun, 2020

本篇论文主要对机器阅读理解（MRC）领域中的任务、数据集、评估指标等方面进行综合调研和分析，发现现有 MRC 模型虽已超越人类在不同 benchmark 数据集的表现，但与真实的人类阅读理解能力仍存在很大差距，因此提出了一些未来的研究方向和关键问题。

Jun, 2020

为了验证机器阅读理解模型在现实世界应用中的鲁棒性和泛化能力，我们引入了一个真实的中文数据集 —— DuReader_robust，并从超敏、超稳定和泛化三个方面对 MRC 模型进行了综合评估。实验结果表明，现有的 MRC 模型在挑战测试集上表现不佳。

Apr, 2020

本文总结了机器阅读理解的最新进展，在语料库和技术两个方面进行了重点介绍和比较，详细描述了不同 MRC 语料库的特点以及一些典型 MRC 技术的主要思想。

Jun, 2019

本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

Nov, 2019

近期在自然语言处理 (NLP) 常识推理研究领域，已经取得了大量新的数据集和基准（benchmark）。然而，这些数据集中的大部分在人工场景中构建常识推理挑战，不反映真实世界 NLP 系统所设计用于解决的任务。本文提出了 CRoW，这是一个手动筛选的多任务基准，用于评估模型在六个真实世界 NLP 任务中应用常识推理的能力。CRoW 使用多阶段数据收集流程构建，通过常识违规扰动重写现有数据集的样例。我们使用 CRoW 研究 NLP 系统在常识知识的不同维度（如物理、时间和社交推理）上的表现。我们发现，在 CRoW 上评估 NLP 系统与人类相比存在显著的性能差距，这表明在真实任务环境中，常识推理远未解决。我们将数据集和排行榜提供给研究社区。

Oct, 2023

RACE 是一个用于中学生阅读理解任务评估的新数据集，由近 28,000 个人类专家（英语教师）生成的近 100,000 个问题组成，涵盖了各种主题，特别是对推理的要求比其他基准数据集要高，是研究和评估机器理解的有价值的资源。

Apr, 2017