一个基于研究论文的信息查找问题和答案数据集
本文调查了在深度学习时代发布的有影响力的问答数据集,并介绍了文本问答和视觉问答两个最常见的问答任务,涵盖了最具代表性的数据集,并提出了当前的一些 QA 研究挑战。
Jun, 2022
该研究提出了两个数据集,用于评估自然语言查询的理解和从大量文本语料库中提取答案的系统。Quasar-S 数据集由 37000 个填空式查询构成,Quasar-T 数据集由 43000 个开放领域的问答问题和它们的答案组成。我们将这些数据集作为事实型问题回答的两个相关子任务的挑战,并评估了几个基线模型,并显示它们在 Quasar-S 和 - T 方面落后于人类表现 16.4%和 32.1%。
Jul, 2017
本文提出了一种三阶段文件 QA 方法,包括从 PDF 中提取文本,从提取的文本中检索证据以形成良好的上下文,以及从上下文中提取 3 种类型的知识(抽取式、生成式或布尔式)。通过对 QASPER 的评估,DRC 系统在交付更优的上下文选择的同时,Answer-F1 达到了 +7.19 的提高。结果表明,DRC 在科学文献 QA 中有很大的亮点。
Oct, 2022
通过引入 PCoQA 数据集,本研究旨在为会话式问答研究提供第一个波斯语会话式问答数据集,包含多达 9,026 个背景驱动的问题,涉及提问者、回答者和维基百科文档。该数据集对以往问答数据集提供了新的挑战,包括更多开放性非事实性答案、较长答案和更少的词汇重复。本文还介绍了多种基准模型的性能,包括基线模型和预训练模型,并使用预训练模型提升了性能。有关数据集和基准模型可在我们的 Github 页面上获取。
Dec, 2023
为了增加推理能力,我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA,该数据集超过 100,000 个 QA 对,由众包工人提供,答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好,这表明未来的研究可以在 NewsQA 上取得显著的进展。
Nov, 2016
本文分析了预训练语言模型在信息查找问题回答方面的挑战和解决方案,包括段落选择和答案预测。作者人手对多语言数据集进行了分类和标注,在此基础上提出了未来在数据集收集和模型开发方面的研究前景。
Oct, 2020
我们提供了一个名为 NewsQs (新闻提示) 的数据集,其中提供了多篇新闻文档的问题 - 回答对。通过在 News On the Web 语料库的 FAQ 样式新闻文章上对 T5-Large 模型进行微调,我们创造了 NewsQs,并自动生成了问题。我们证明,使用控制代码对模型进行微调可以生成更容易被人们接受的问题,与没有使用控制代码的相同模型相比,在人类评价中表现更好。我们使用与人类注释具有高相关性的 QNLI 模型来过滤数据。我们将我们的最终高质量问题、答案和文档聚类数据集作为资源,用于未来的基于查询的多文档摘要研究。
Feb, 2024
该研究提出了基于评论的问答系统,并介绍了一个新的数据集和结合信息检索和阅读理解模型的方法以生成答案。研究评估了许多答案生成模型并提出了强有力的基线,证明了这个新任务的挑战性。
Aug, 2019
本研究提出一种算法,利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式,自动生成自然问题(NQ)数据集中的问题,同时使用神经分类器检测并去除不合法的问题,从而生成高质量的数据集,提高了 QA 表现,该算法在低资源环境下使用,扩展了 QA 系统的规模,同时保持了训练数据的质量。
Oct, 2022