通过研究机器阅读理解中问题的难易程度，分析数据集创建中的困难之处和基准模型的性能。在手动注释的问题样本中发现，较难的问题需要更多的知识推理和多句话推理技能，并且多选题需要更广泛的推理能力。这些结果表明，在机器阅读理解领域中的最新进展可能被高估。

Aug, 2018

本文研究阅读理解中的基础问题，通过建立基础模型并使用多个数据集进行实验说明，证明了阅读理解模型可以采用基于问题或段落的模式在一定程度上取得有意义的准确率，其中段落模型在 bAbI 数据集中表现良好，同样已证明 SQuAD 和 CNN 数据集较为先进。

Aug, 2018

为了准确评估语言模型在逻辑阅读理解方面的能力，我们提供了一个用于测试关键推理理解的数据集。通过从现有的多项选择逻辑阅读理解数据集中选取问题，我们众包了解释选择或排除答案选项的理由，结果得到了与 943 个主要问题相关联的 3003 个多项选择子问题。对我们的数据集进行的实验表明，最近的大型语言模型（如 InstructGPT）在回答多项选择子问题时面临困难，即使它们能够正确回答主要问题。我们发现，该模型在回答针对主要问题的错误选项而编写的子问题时表现特别糟糕，这意味着该模型对解释为什么应该排除错误选项的能力有限。这些结果表明，我们的数据集鼓励进一步研究语言模型的关键推理能力，重点关注相关的备选项排除过程。

Nov, 2023

本文研究阅读理解数据集中问题难度的难易级别，并提出了一种名为 DQG 的新问题生成设置，用于生成符合指定难度标签的阅读理解问题。我们提出了一个端到端的框架来生成指定难度级别的问题，并制备了第一个具有难度标签的阅读理解问题数据集。结果表明，我们的框架生成的问题不仅在 BLEU 等度量标准上具有更好的质量，而且符合指定的难度标签。

Jul, 2018

本文分析了预训练语言模型在信息查找问题回答方面的挑战和解决方案，包括段落选择和答案预测。作者人手对多语言数据集进行了分类和标注，在此基础上提出了未来在数据集收集和模型开发方面的研究前景。

Oct, 2020

本文研究多项选择阅读理解和听力理解测试中需要阅读多少上下文内容才能回答正确，发现自动化阅读理解系统即使没有或只有部分上下文内容的情况下也能比随机猜测表现更好，并提供了内容创作者自动捕捉所需理解和世界知识之间的权衡的方法。

Jul, 2023

通过全书阅读来测试阅读理解能力的数据集。

Dec, 2017

本研究提出了一种用于阅读理解的问答生成模型（HTA-WTA），通过使用 story-based 阅读理解技能（SBRCS）来对阅读能力进行更全面的评估，并使用深度推理问题测试了 HTA-WTA 模型的强大性能。

Apr, 2022

本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

Nov, 2019

在评估英语学习者时，多项选择（MC）测试是一种有效的方法。本文探讨了自动化方法来对 MC 问题进行难度排序，并比较了任务迁移和零样本学习的方法。结果表明，任务迁移在难度排序方面优于阅读理解，而零样本学习方法在问题难度排序方面比绝对评估和任务迁移方法更有效，相关系数为 40.4%。合并这些系统进一步提高了相关性。

Apr, 2024