EMNLPAug, 2018

阅读理解需要多少阅读量？流行基准测试的关键调查

PDF
TL;DR本文研究阅读理解中的基础问题，通过建立基础模型并使用多个数据集进行实验说明，证明了阅读理解模型可以采用基于问题或段落的模式在一定程度上取得有意义的准确率，其中段落模型在 bAbI 数据集中表现良好，同样已证明 SQuAD 和 CNN 数据集较为先进。
reading comprehensionquestion passage answerbaselinesbabisquad
发现论文，激发创造
  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019

  • 阅读理解问题为何难？

    通过众包多选阅读理解问题，分析来自七个质量不同的来源的段落的属性如何影响问题难度及类型，发现段落的来源、长度和可读性等因素并不影响问题的难度，而逻辑推理更常常出现在针对技术文章的问题中。因此，在创建新的基准数据集时，选择多样性的段落可以确保问题类型的多样性，而段落的难度则不是最重要的。

    Mar, 2022

  • 问答数据集让模型学到了什么？

    本文通过评估五个数据集上的基于 BERT 的模型来研究模型是否从问答数据集中学习阅读理解，发现没有一个数据集能够具备全部实验的鲁棒性，并且发现了数据集和评估方法的不足，最后建议构建更好的 QA 数据集以评估阅读理解任务的问答能力。

    Apr, 2020

  • 会话问答内容理解的实证研究

    该论文研究基于对话问答模型中标准数据集对模型的语义理解能力的反应度以及对话内容对模型回答问题的影响，并指出了 QuAC 和 CoQA 两个常用数据集的一些 潜在问题及其存在的偏见。

    Sep, 2019

  • 简单而有效的多段阅读理解

    该论文旨在将神经段落级问题回答模型适应于以整个文档作为输入的情况，通过使用共享标准化训练目标，从多个段落中选择样本并鼓励模型产生全局正确的输出，该方法结合最先进的文档 QA 数据模型进行训练，实验证明了其在多个文档 QA 数据集上具有强大的性能表现，只需训练模型即可实现从 56.7 F1 到 71.3 F1 的大幅提高。

    Oct, 2017

  • 多项选择阅读理解的协同匹配模型

    本文提出一种新的共同匹配方法来解决多选阅读理解问题，该方法同时建模一个段落是否匹配一个问题和一个候选答案，在 RACE 数据集上的实验结果表明我们的方法达到了最先进的性能。

    Jun, 2018

  • 超越只能阅读英语：零样本多语种传递在保加利亚语中的实验

    研究了在英文大规模数据集中预训练的多语言 BERT Fine-Tuning 在保加利亚语阅读理解中的效果，构建了一个新的包含历史、生物、地理和哲学等学科的 12 年级毕业考试和 412 个在线历史测验问题的数据集，并利用不同的索引和预训练策略进行实验，评估结果表明，准确率为 42.23％，大大超过了基线水平 24.89％。

    Aug, 2019

  • 分析多项选择阅读和听力理解测试

    本文研究多项选择阅读理解和听力理解测试中需要阅读多少上下文内容才能回答正确，发现自动化阅读理解系统即使没有或只有部分上下文内容的情况下也能比随机猜测表现更好，并提供了内容创作者自动捕捉所需理解和世界知识之间的权衡的方法。

    Jul, 2023

  • NarrativeQA 阅读理解挑战赛

    通过全书阅读来测试阅读理解能力的数据集。

    Dec, 2017

  • 使用长输入文本进行问答的 QuALITY 模型

    本文介绍了一个名为 QuALITY 的多项选择问答数据集，它包含英文上下文段落，其平均长度约为 5,000 个标记，远长于现有典型模型所能处理的长度。该数据集基于整篇文章编写和验证问题，有一半的问题无法在时间限制下回答，说明简单的浏览和搜索并不足以表现出优良的效果。作者的基准模型在这个任务上的表现较差（55.4％），并且显著落后于人类的表现（93.5％）。

    Dec, 2021