本文提出了一种新的中文阅读理解数据集——包括选择题和用户问题阅读理解，并且是人工验证和隐藏测试集的大规模训练数据。同时，还举办了首届中文机器阅读理解评估（CMRC-2017），成功吸引了数十名参与者。

Sep, 2017

该研究提出了一项新的任务，以鼓励模型跨多个文档进行文本理解并探究现有方法的限制。 该任务要求模型学习查找和组合证据，从而实现多跳（别名为多步）推理，但两个先前的竞争性模型都在选择相关信息方面遇到了困难。

Oct, 2017

本文介绍了一个针对中文机器阅读理解的Span-Extraction数据集及其挑战集，共包含近20,000个人类专家在维基百科段落中标注的真实问题，并发布了CMRC 2018的评估工作坊，旨在进一步推进中文机器阅读理解研究。

Oct, 2018

本文介绍了第一个自由形式的中文机器阅读理解数据集 (C^3) ，包含13,369个文件和19,577个来自作为第二语言的汉语考试中所收集的自由形式的多项选择问题。该文提供了大量先前知识的分析和拥有丰富先前知识的实际应用的相关问题的评估。虽然实施了基于规则和神经网络的各种方法，但最佳模型(68.5%)和人类读者(96.0%)之间还有显著的性能差距，特别是对需要先前知识的问题。同时也研究了关于困扰者合理性和数据增强的效应，可以看出回答86.8%的问题需要对文档中的知识和超出文档范畴的领域内知识的理解。我们期望C^3能够为现有系统提出巨大挑战，并成为研究如何更好地利用各种先前知识来更好地理解给定的书面或口头定向文本的平台。

Apr, 2019

本文研究阅读理解（RC）数据集之间的通用性和现有数据集对提高新数据集表现的贡献，使用Bert等上下文表示方法，证明在一个或多个数据集上训练，并在目标数据集上进行转移学习可以显著提高RC表现，同时发现在多个来源RC数据集上训练可以降低新RC数据集的示例收集成本，并提出了基于MultiQA的模型，取得了五个 RC 数据集的最先进的表现。

May, 2019

本文提出了一个大规模的中文填空测试数据集ChID，用于研究汉语特有的习语理解，该数据集以候选成语替换文章中的成语，考察了候选成语的设计和成语表示对最先进模型的成绩表现的影响，结果显示机器准确率明显低于人类准确率，为今后的进一步研究留下了许多空间。

Jun, 2019

该研究介绍了一种新的阅读理解测试方法R4C，其通过要求RC系统能够给出不仅是答案还包括对答案进行解释的推导，解决了当前数据集中的注释偏差和其他偏差可以影响数据集的问题。研究人员使用可靠的众包框架对RC数据集进行批量注释，创建并公开了R4C数据集，该数据集包含4.6k个问题，每个问题有3个参考推导（即13.8k个推导）。实验证明，使用多个参考推导的自动评估指标是可靠的，并且R4C可以评估不同于现有基准测试的技能。

Oct, 2019

该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用9个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

Apr, 2020

本文介绍了以意见为主题的ReCO数据集，该数据集是目前中文阅读理解数据集中最大的，其中需要进行因果推理、逻辑推理等各种推理技能。与传统数据集不同的是，ReCO除了提供上下文段落外，还提供支持证据，这为机器阅读理解提供了很好的挑战。

Jun, 2020

我们提供了Belebele，这是一个涵盖了122种语言的多选机器阅读理解（MRC）数据集。该数据集显著扩展了自然语言理解（NLU）基准的语言覆盖范围，在高、中、低资源语言中评估了文本模型，从而使得对模型性能的直接比较成为可能。通过这个数据集，我们评估了多语言掩码语言模型（MLMs）和大型语言模型（LLMs）的能力，并得出了一些结论。

Aug, 2023