Sep, 2020

开放领域问答的增强生成检索

PDF
TL;DR本文提出了一种 Generation-Augmented Retrieval 方法来回答开放领域的问题，这种方法通过发现相关语境并进行文本生成来增强查询，同时证明所生成的语境大大丰富了查询的语义，使用 BM25 稀疏表示与 DPU 等最先进的稠密检索方法相比，GAR 能够获得同等甚至更好的检索效果。本文还将 G.A.R. 与 DPU 相结合，能够在 Natural Questions 和 TriviaQA 数据集上显着提高提取式 QA 基线的性能，并且在使用相同的生成性阅读器时，GAR 频繁地优于其他检索算法。
generation-augmented retrievalopen-domain questionsbm25dprextractive reader
发现论文，激发创造
  • GAR 与 RAG 范式的零样本信息检索

    基于大型语言模型的检索模型和嵌入式检索模型的结合，对零样本检索问题，即无目标领域标记数据的情况下，综合了生成增强检索和检索增强生成两种范式，并通过新颖的 GAR-meets-RAG 循环公式在零样本环境中迭代改进检索和重写阶段，实现了对系统召回率的提升和最终精准度的提高。

    Oct, 2023

  • 通过向量化上下文改进基于检索的开放领域问答

    在大语言模型的时代，应用检索增强生成等技术可以更好地解决开放领域问题回答问题。本文提出了一种通用方便的方法来覆盖更长的上下文，以在开放领域的问答任务中应用。我们的实验证明，在精调后，在两个保留数据集、四个留存数据集和两个上下文学习设置中，性能得到了提高。

    Apr, 2024

  • 生成 - 检索 - 生成：一种开放领域问答的新方法

    通过结合文档检索技术与大型语言模型 (LLM)，我们提出了一种名为 Generator-Retriever-Generator (GRG) 的新方法，通过首先命令模型根据给定的问题生成上下文文档，然后使用双编码器网络从外部语料库中检索与问题相关的文档。将生成的和检索的文档传递给第二个 LLM 模型，生成最终的答案。通过结合文档检索和 LLM 生成，我们的方法解决了开放域问答的挑战，如生成信息丰富且上下文相关的答案。GRG 在 TriviaQA、NQ 和 WebQ 数据集上表现优于最先进的生成 - 阅读和检索 - 阅读流水线 (GENREAD 和 RFiD)，性能至少提高了 + 5.2、+4.2 和 + 1.6。我们提供代码、数据集和检查点。

    Jul, 2023

  • 检索 QA：评估自适应检索增强生成在短形式开放领域问答中的应用

    动态确定查询的检索是否必要的自适应检索增强生成法（ARAG）旨在提高源信息的效率和相关性，但是以往的研究主要忽略了 ARAG 方法的评估，导致其效果未被充分研究。因此，本研究提出了一个基准测试集 RetrievalQA，包含了 1,271 个关于新颖领域和长尾知识的简短问题。为了正确回答这些问题，需要检索到外部信息。我们观察到基于校准的方法在很大程度上依赖于阈值调整，而简单的提示方法无法可靠地引导语言模型进行检索决策。基于我们的发现，我们提出了一种简单而有效的方法 Time-Aware Adaptive Retrieval（TA-ARE），可以帮助语言模型在不进行校准或额外训练的情况下评估检索的必要性。数据集和代码可在 https://github.com/hyintell/RetrievalQA 上获取。

    Feb, 2024

  • 基于 RAG 的多源检索问答框架

    基于 GPT-3.5 的多源检索框架（MSRAG）实现了检索增强生成技术（RAG）的改进，提高了问答系统的效率和准确性。

    May, 2024

  • 领域专属问答的检索增强生成

    为 Adobe 产品建立内部问答系统，提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法，展示了微调检索器在最终生成中带来的重大改进，降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。

    Apr, 2024

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • G-Retriever：文本图理解与问答的检索增强生成

    给定具有文本属性的图，我们使用对话界面使用户能够与其图进行交流，在回答用户问题时提供文本回复并突出显示图的相关部分。通过开发我们的图问题回答（GraphQA）基准和集成 GNN、LLM 和 RAG 的 G-Retriever 方法，我们在多个领域的文本图任务中超越基准，而且可以适应更大的图大小并抗幻觉。

    Feb, 2024

  • MuRAG: 图像和文本开放式问答的多模式检索增强生成器

    MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

    Oct, 2022

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023