合并生成和检索知识的开放领域问答
大型语言模型在生成能力方面表现出色,但当仅依赖其内部知识时,容易出现幻觉,尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案,然而,最近的方法主要强调从非结构化文本语料库进行检索,忽视了底层结构。此外,当前领域存在一个显著的差距,即缺乏对异构知识源(如知识库和文本)上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白,我们精心策划了一个综合数据集,提出了两个独特挑战:(1)需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题,正确回答问题需要从结构化知识源中检索信息;(2)符号化查询(例如用于 Wikidata 的 SPARQL)的生成是一个关键要求,增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建,我们还引入了一种新颖的方法,利用多个检索工具,包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。
Oct, 2023
本文提出了一种以问答对为基础的编码 - 解码模型,通过该模型的预训练策略,能够在单跳及多跳问题上达到强大性能,并进一步提高了对模型的解释和控制能力,缩小了与段落检索系统之间的性能差距。
Apr, 2022
大型语言模型在提升效果方面,通过融合生成的上下文和检索的上下文具有显著偏差,这是因为生成的上下文更接近问题,而检索的上下文被分割过程干扰,了解了 LLM 是如何整合不同的上下文,为 LLM 的当前增强方法提供了有价值的认识。
Jan, 2024
开放领域问答(ODQA)作为信息系统中的关键研究领域已经崛起。现有方法采用两种主要范式来收集证据:(1)“先检索然后阅读” 范式从外部语料库中检索相关文档;(2)“先生成然后阅读” 范式使用大型语言模型(LLMs)生成相关文档。然而,两者都无法完全满足证据的多方面需求。因此,本文提出了 LLMQA,一种通用框架,将 ODQA 过程分为三个基本步骤:查询扩展、文档选择和答案生成,结合了基于检索和基于生成的证据的优势。由于 LLMs 展示了在各种任务中表现出的出色能力,我们在框架中指导 LLMs 担任多个角色,作为生成器、重新排序器和评估器,集成它们在 ODQA 过程中的协作。此外,我们引入了一种新颖的提示优化算法,以改进角色扮演提示,引导 LLMs 生成更高质量的证据和答案。在广泛使用的基准测试(NQ、WebQ 和 TriviaQA)上进行的大量实验结果表明,LLMQA 在答案准确性和证据质量方面达到了最佳表现,展示了其推进 ODQA 研究和应用的潜力。
Mar, 2024
我们提出了一个采用粗到细方法提取相关知识和回答问题的两阶段闭书问题回答框架,实验结果显示我们的方法明显优于先前的闭书 QA 方法并与利用外部知识源的开书方法相当。
Oct, 2022
本研究提出了一种基于知识库和相关文章文本联合的开放领域问答方法,通过检索和阅读一个包含文本段的图表结构,并采用跨相关段落传播信息的方式更新文本段落表示,从而在 WebQuestions、自然问题和 TriviaQA 三个任务的数据集上实现了 2-11% 的性能提升。
Nov, 2019
提出了一种称为问题和路径增强的简单而有效的方法,通过对原始问题进行多步子问题的扩充和规划,从而提升检索性能,以及通过语言模型生成的自我生成路径来指导答案抽取,实验证明该方案优于现有技术且在现有的检索 - 生成模型中实现了显著的性能提升。
Jun, 2024
通过建立一个包含多样化复杂问答任务的基准以及提供工具包,在开放领域环境中评估先进的预训练密集和稀疏检索模型,本研究旨在解决开放领域复杂问答中证据检索和推理的挑战。我们观察到晚期交互模型和词汇模型(如 BM25)表现较好,此外,我们还评估了 LLMs 的推理能力以及检索性能对其推理能力的影响,通过实验证实,要改进复杂问答的下游性能,还有很多待办之事。
Jun, 2024
本文提出了一种基于大型语言模型的自我点拨框架 (Self-Prompting framework),使得在开放域下的问答任务 (Open-Domain Question Answering) 可以在不需要训练数据和外部知识库的情况下实现,采用该方法在三个广泛使用的 ODQA 数据集上,实验结果优于之前的最先进方法,在 EM 指标上平均提高了 8.8 个百分点,并且能够实现与多种检索增强的微调模型相比较的性能。
Dec, 2022
该论文提出了一种用于 COQA 多语言问题解答的系统,该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究,并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。
May, 2022