EMNLPNov, 2020

IIRC：一个包含不完整信息阅读理解问题的数据集

PDF
TL;DR本研究提供了一个名为 IIRC 的数据集，其中包含超过 13K 个来自英文维基百科段落的问题，并且这些问题只提供了部分信息以回答，丢失的信息出现在一个或多个链接的文档中。使用众包工作者编写问题，使得此数据集中的问题与答案出现的上下文表述差异大，包括许多需要离散推理的问题，难度较高。通过构建一种基准模型评测模型在该任务上的表现，本研究发现，该模型在 F1 得分上的表现为 31.1％，而人类性能则为 88.4％。
reading comprehensiondatasetinformation retrievalcrowd-sourced questionsdiscrete reasoning
发现论文，激发创造
  • NarrativeQA 阅读理解挑战赛

    通过全书阅读来测试阅读理解能力的数据集。

    Dec, 2017

  • 带信息搜索代理的交互式机器阅读理解

    通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

    Aug, 2019

  • 更好的检索并不一定会导致更好的问答

    本文针对欧洲议会选举的数据进行建模，提出了一种基于随机森林和多层感知器神经网络相结合的方法，去完成对选民意向的预测任务，该模型相比其他模型具有更好的预测准确度和稳定性。

    May, 2022

  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019

  • 检索与阅读：信息检索和阅读理解的多任务学习

    本研究提出一种简单而有效的方法，通过使用监督多任务学习，将 IR 和 RC 任务结合起来，以考虑答案跨度来训练 IR 组件，实现大规模机器阅读，从而取得了最先进的表现。

    Aug, 2018

  • 英文机器阅读理解数据集调查

    该论文调查了 60 个英语机器阅读理解数据集，评估其问题和答案形式，并分析了它们的大小，词汇量，数据来源，创建方法，人类性能水平和首问词等特征。研究表明，维基百科是最常见的数据来源，而为什么，什么时候和哪里等问题在不同数据集中相对较少。

    Jan, 2021

  • 构建跨文档多跳阅读理解数据集

    该研究提出了一项新的任务，以鼓励模型跨多个文档进行文本理解并探究现有方法的限制。 该任务要求模型学习查找和组合证据，从而实现多跳（别名为多步）推理，但两个先前的竞争性模型都在选择相关信息方面遇到了困难。

    Oct, 2017

  • 阅读理解问题变得更容易的因素是什么？

    通过研究机器阅读理解中问题的难易程度，分析数据集创建中的困难之处和基准模型的性能。在手动注释的问题样本中发现，较难的问题需要更多的知识推理和多句话推理技能，并且多选题需要更广泛的推理能力。这些结果表明，在机器阅读理解领域中的最新进展可能被高估。

    Aug, 2018

  • ComplexWebQuestions 数据集的重新分区

    通过 ComplexWebQuestions 训练阅读理解模型，无法防止训练集中的泄漏，但是构建新的数据集划分可以解决这个问题，并将其公开发布，使用训练数据训练 RC 模型可显著提高现有技术水平。

    Jul, 2018

  • 多文档阅读理解

    本文介绍了阅读理解及其在自然语言处理领域的发展，并研究了单文档阅读理解作为多文档阅读理解系统的基础的作用，同时介绍了 RE3QA 模型作为多文档阅读理解系统的最佳答案提取工具。

    Jan, 2022