介绍了一个包含各种答案类型的大规模数据集 GooAQ, 包括从 Google 自动获取的超过 500 万个问题和 300 万个答案。该数据集可用于改善问答的多样响应类型，并通过对 GooAQ 进行了基准测试表明，针对长答案问题的模型质量主要由模型的预训练支持。

Apr, 2021

本文介绍了一个以定理驱动的问答数据集 TheoremQA，用于评估人工智能模型应用定理解决具有挑战性的科学问题的能力。研究人员使用 16 个大型语言和代码模型评估 TheoremQA，并发现 GPT-4 在 Program-of-Thoughts Prompting 的帮助下解决这些问题的能力是无与伦比的，达到了 51％，而现有的所有开放源代码模型都低于 15％，仅仅超过了随机猜测的基线。

May, 2023

通过从科学文献中提取的信息，利用科学问答对生成的自动评估框架 SciQAG 表明，大型语言模型可用于从文献中提取关键知识的高质量科学问答对。

May, 2024

PubMedQA 是一个从 PubMed 文摘中收集的生物医学问答（QA）数据集，共有 1k 位专家注释，61.2k 未标记和 211.3k 人工生成的 QA 实例，其中每个实例包括一个问题、相应的摘要、一个长答案和一个总结性答案。采用 BioBERT 的多阶段微调方法，结合长答案单词统计做为额外监督，实现了 68.1% 的准确率，比人类单一表现的 78.0% 的准确率还有改进的空间。

Sep, 2019

本文提出一种新的方法来从众包工作者那里获得高质量、针对领域的多项选择题，该方法通过利用大量的领域特定文本和一小部分现有问题，产生文档选择和答案干扰选项的模型建议，辅助人类提问生成过程。使用这种方法，我们已经组装了 13.7K 的多项选择科学考试题的 SciQ 数据集，并通过提供对这个新数据集的分析和展示人们无法区分众包问题与原问题，证明了这种方法可以产生领域内的问题。当将 SciQ 用作现有问题的附加训练数据时，在真实科学考试中观察到了准确度的提高。

Jul, 2017

为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

Nov, 2016

我们基于材料学领域的 650 个具有挑战性的问题，对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估，并发现 GPT-4 的准确率最高（约为 62%），而与思维链激励相比，没有明显的准确率提高。通过错误分析，我们发现概念错误（64%）是改进语言模型表现的主要因素，而计算错误（36%）对 LLMs 性能的降低起到了次要作用。我们希望该工作中的数据集和分析能够促进材料科学领域特定 LLMs 的开发和信息提取策略的研究。

Aug, 2023

本研究提出一种算法，利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式，自动生成自然问题（NQ）数据集中的问题，同时使用神经分类器检测并去除不合法的问题，从而生成高质量的数据集，提高了 QA 表现，该算法在低资源环境下使用，扩展了 QA 系统的规模，同时保持了训练数据的质量。

Oct, 2022

TriviaQA 是一个具有挑战性的阅读理解数据集，包含超过 650k 个问题 - 答案 - 证据三元组，该数据集需要进行跨句子推理和包含看似复杂、组合式、句法和词汇变化巨大的问题，并提供了两种基线算法：基于特征的分类器和最先进的神经网络，它们在 SQuAD 阅读理解上表现良好，但都无法接近人类表现（23％和 40％与 80％），因此需要进一步的研究。

May, 2017

本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

Jun, 2022