基于断言的问答系统与面向问题的开放式信息抽取方法
最近提出的长篇问答(QA)系统,在大型语言模型(LLMs)的支持下,展示了令人期待的能力。然而,为其生成的抽象回答归因和验证可能困难,并且自动评估其准确性仍然是一个持续的挑战。在这项工作中,我们介绍了一个新的 QA 任务,通过半抽取方式总结多个多样化的来源来回答多回答问题。具体来说,半抽取多源 QA(SEMQA)要求模型输出一个综合回答,同时混合了由给定的输入来源直接拷贝的事实引用片段和将这些片段连接成一个连贯段落的非事实自由文本连接器。这个设置弥合了受基于事实抽取的 QA 系统约束的输出与更流畅但更难以归因的完全抽象回答之间的差距。特别地,它利用了语言模型的先进语言生成能力的新模式,同时通过设计产生易于验证、解释和评估的细致内联归因。为了研究这个任务,我们创建了第一个这样类型的数据集 QuoteSum,其中包含人工编写的对自然问题和生成问题的半抽取回答,并定义了基于文本的评估指标。在不同设置下尝试了几个 LLM 后,我们发现这个任务出人意料地具有挑战性,这展示了 QuoteSum 用于开发和研究这种整合能力的重要性。
Nov, 2023
本研究提出了一种基于知识库和相关文章文本联合的开放领域问答方法,通过检索和阅读一个包含文本段的图表结构,并采用跨相关段落传播信息的方式更新文本段落表示,从而在 WebQuestions、自然问题和 TriviaQA 三个任务的数据集上实现了 2-11% 的性能提升。
Nov, 2019
本文提出了一种基于多任务学习的科学问题验证方法,该方法结合了信息概括、布尔问答、提取式问题回答和语义理解技术。该方法在欧洲 PMC 的 300 万篇医学和健康领域 OA 文章上,在 BERT 和 RoBERTa 问答模型的实验中,实现了 4%的平均误差率和 95.6%的 F1 分数。
Apr, 2022
本文提出的 PIE-QG 方法使用开放信息提取(OpenIE)从释义段落中生成合成训练问题,并利用问题 - 答案对作为基于 BERT 的最先进 QA 系统的训练数据。在五个抽取式 QA 数据集上进行实验表明,我们的技术在没有外部参考数据源的情况下以数量级更少的文档训练,实现了与现有最先进 QA 系统相同的性能。
Jan, 2023
在这篇论文中,我们展示了能够为低资源语言开发有效且成本低廉的 OpenQA 系统的关键要素,其中包括利用机器翻译标注数据的弱监督和目标语言中相关的非结构化知识源。我们以土耳其语为挑战性案例研究,通过 ColBERT-QA 对 SQuAD-TR 进行了调整来构建我们的 OpenQA 系统。在使用两个跨足两年的维基百科转储版本的基础上,我们与基于 BM25 和 DPR 的 QA 读取器模型相比,在 EM 得分上获得了 9-34% 的性能提升以及 F1 得分上的 13-33% 的性能提升。我们希望我们的结果可以鼓励研究人员在其他低资源语言中构建 OpenQA 系统,并将所有的代码、模型和数据集公开提供。
Jan, 2024
本文针对 ARCChallenge 数据集的超越式难题提出了一种系统,该系统利用查询重写、背景知识和文本属于性,成功地提高了端到端 QA 任务的性能,并超越了几个强基线。
Sep, 2018
该论文提出了一种新模型 Graft-Net,应用于 Open Domain Question Answering 问题,该模型结合了文本和知识库并利用子图表示法以提高效率和准确度
Sep, 2018