Jul, 2021

QA 数据集爆炸：问答和阅读理解的自然语言处理资源分类

PDF
TL;DR本文回顾了近年来深度学习模型在自然语言处理中的研究，并着重探讨了问题回答和阅读理解方面逾 80 种新数据集。除此之外，对现有各种格式和领域的资源进行了总结，并提出了新的技能分类法以及对过度专注于英语的影响。最后旨在为从业者和研究人员提供指引。
nlpdeep learningquestion answeringreading comprehensionbenchmark datasets
发现论文，激发创造
  • 现代问答数据集和基准：一项调查

    本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

    Jun, 2022

  • 英文机器阅读理解数据集调查

    该论文调查了 60 个英语机器阅读理解数据集，评估其问题和答案形式，并分析了它们的大小，词汇量，数据来源，创建方法，人类性能水平和首问词等特征。研究表明，维基百科是最常见的数据来源，而为什么，什么时候和哪里等问题在不同数据集中相对较少。

    Jan, 2021

  • 朝向稳健评估：大语言模型时代开放领域问答数据集和度量的综合分类

    本研究通过对 52 个数据集和 20 种评估技术进行综述，详细研究了当前开放域问题回答领域的现状，提出了一种包含问题类型的多模态数据集新分类法，并对评估指标进行结构化整理和批判性分析，旨在为现代问答系统的强大评估提供框架，并指出了当前的挑战和未来研究发展的有希望的方向。

    Jun, 2024

  • TriviaQA：一个大规模远程监督的挑战性阅读理解数据集

    TriviaQA 是一个具有挑战性的阅读理解数据集，包含超过 650k 个问题 - 答案 - 证据三元组，该数据集需要进行跨句子推理和包含看似复杂、组合式、句法和词汇变化巨大的问题，并提供了两种基线算法：基于特征的分类器和最先进的神经网络，它们在 SQuAD 阅读理解上表现良好，但都无法接近人类表现（23％和 40％与 80％），因此需要进一步的研究。

    May, 2017

  • NewsQA: 一个机器阅读理解数据集

    为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

    Nov, 2016

  • 研究问题：一个针对 LLM 网络代理的多角度、分解问题的数据集

    这篇研究论文介绍了一种基于搜索引擎日志的、具有多角度和非事实性问题的数据集，该数据集对于最强大的大型语言模型来说具有挑战性，并展示了对这些问题进行分解和替代回答技术的好处。

    Feb, 2024

  • ReviewQA：一个基于关系和方面的意见阅读数据集

    本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

    Oct, 2018

  • 走向更加公平的问答系统：需要多少更多的数据？

    本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

    May, 2021

  • 问答数据集让模型学到了什么？

    本文通过评估五个数据集上的基于 BERT 的模型来研究模型是否从问答数据集中学习阅读理解，发现没有一个数据集能够具备全部实验的鲁棒性，并且发现了数据集和评估方法的不足，最后建议构建更好的 QA 数据集以评估阅读理解任务的问答能力。

    Apr, 2020

  • 一个基于研究论文的信息查找问题和答案数据集

    本文介绍了 QASPER（一个基于自然语言处理论文的问题数据集），旨在提醒需要收集反映多部分论文主张的复杂推理难度的数据，以利于构建支持文档查找的问答系统。

    May, 2021