MeeQA:会议记录中的自然问题
本文调查了在深度学习时代发布的有影响力的问答数据集,并介绍了文本问答和视觉问答两个最常见的问答任务,涵盖了最具代表性的数据集,并提出了当前的一些 QA 研究挑战。
Jun, 2022
为了增加推理能力,我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA,该数据集超过 100,000 个 QA 对,由众包工人提供,答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好,这表明未来的研究可以在 NewsQA 上取得显著的进展。
Nov, 2016
本研究提出一种算法,利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式,自动生成自然问题(NQ)数据集中的问题,同时使用神经分类器检测并去除不合法的问题,从而生成高质量的数据集,提高了 QA 表现,该算法在低资源环境下使用,扩展了 QA 系统的规模,同时保持了训练数据的质量。
Oct, 2022
本篇论文提出了一种建立对话式问答系统的新数据集 CoQA,包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题,分析表明,这些问题比现有的阅读理解数据集具有更多挑战性和难点,需要针对性的解决方案,评测结果显示目前最好的系统 F1 得分为 65.4%,仍然有大量的改进空间。
Aug, 2018
我们提供了一个名为 NewsQs (新闻提示) 的数据集,其中提供了多篇新闻文档的问题 - 回答对。通过在 News On the Web 语料库的 FAQ 样式新闻文章上对 T5-Large 模型进行微调,我们创造了 NewsQs,并自动生成了问题。我们证明,使用控制代码对模型进行微调可以生成更容易被人们接受的问题,与没有使用控制代码的相同模型相比,在人类评价中表现更好。我们使用与人类注释具有高相关性的 QNLI 模型来过滤数据。我们将我们的最终高质量问题、答案和文档聚类数据集作为资源,用于未来的基于查询的多文档摘要研究。
Feb, 2024
本研究提出了一种基于句子转换模型的新方法,从庞大数量的大型问答数据集中自动派生自然语言推理(NLI)数据集,并展示了其将多种问答数据集成功应用于自然语言推理数据集的能力,从而新派生出包含 50 万个以上 NLI 示例的免费数据集 (QA-NLI),展示了它呈现的推理现象的宽泛性。
Sep, 2018
本文介绍了一种基于生成 / 判别标记方法的 N 至 N QA 提取任务,可以提高客户服务聊天机器人的知识库,并首次设定了 Utterance 和 Session 级别的评估指标。我们发现 QA 对内部和之间的关系可以用于分析对话结构,提出的模型适应不同的领域和语言,并可以减少真实世界产品对话平台中的劳动力成本。
Dec, 2022
该研究介绍了 QAConv,这是一个新的基于对话的问题回答(QA)数据集,通过长、复杂、异步和涉及强领域知识的信息型对话提供了一个新的训练和评估测试平台来促进 QA 在对话研究中的应用。
May, 2021
提出了一种新的口语会话问答任务(SCQA),旨在使系统能够模拟复杂的对话流程,以便处理音频记录中的对话式问题,并探索从不同模态提供更多线索,通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示,并通过双向关注机制鼓励更好的音频和文本之间的对齐,以简化知识转移过程。通过 Spoken-CoQA 数据集,证明了跨模态信息融合的必要性,同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。
Apr, 2022
结合大型语言模型与人类专业知识,通过将角色扮演代理和用户的对话模拟为大型语言模型生成,然后由人类专家验证并补充归属数据,以更高效可靠地生成数据,并构建了集中在会议记录的首个信息检索对话数据集 MISeD,其中模型在测试集、手动 WOZ 测试集和现有基于查询的摘要基准上的优越性能表明我们方法的效用。
May, 2024