检索 QA：评估自适应检索增强生成在短形式开放领域问答中的应用

Feb, 2024

检索 QA：评估自适应检索增强生成在短形式开放领域问答中的应用

RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering

Zihan Zhang, Meng Fang, Ling Chen

TL;DR动态确定查询的检索是否必要的自适应检索增强生成法（ARAG）旨在提高源信息的效率和相关性，但是以往的研究主要忽略了 ARAG 方法的评估，导致其效果未被充分研究。因此，本研究提出了一个基准测试集 RetrievalQA，包含了 1,271 个关于新颖领域和长尾知识的简短问题。为了正确回答这些问题，需要检索到外部信息。我们观察到基于校准的方法在很大程度上依赖于阈值调整，而简单的提示方法无法可靠地引导语言模型进行检索决策。基于我们的发现，我们提出了一种简单而有效的方法 Time-Aware Adaptive Retrieval（TA-ARE），可以帮助语言模型在不进行校准或额外训练的情况下评估检索的必要性。数据集和代码可在 https://github.com/hyintell/RetrievalQA 上获取。

Abstract

adaptive retrieval-augmented generation (ARAG) aims to dynamically determine the necessity of retrieval for queries instead of retrieving indiscriminately to enhance the efficiency and relevance of the sourced information. However, previous works largely overlook the evaluation of

adaptive retrieval-augmented generation retrievalqa arag approaches benchmark time-aware adaptive retrieval

发现论文，激发创造

自适应 - RAG: 通过问题复杂性学习适应检索增强大型语言模型

本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

Mar, 2024

RQ-RAG: 学习改进用于检索增强生成的查询

学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

Mar, 2024

大语言模型的检索增强生成：综述

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

检索增强生成模型评估：一项调查

Retrieval-Augmented Generation (RAG) 系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析 RAG 系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

May, 2024

开放领域问答的增强生成检索

本文提出了一种 Generation-Augmented Retrieval 方法来回答开放领域的问题，这种方法通过发现相关语境并进行文本生成来增强查询，同时证明所生成的语境大大丰富了查询的语义，使用 BM25 稀疏表示与 DPU 等最先进的稠密检索方法相比，GAR 能够获得同等甚至更好的检索效果。本文还将 G.A.R. 与 DPU 相结合，能够在 Natural Questions 和 TriviaQA 数据集上显着提高提取式 QA 基线的性能，并且在使用相同的生成性阅读器时，GAR 频繁地优于其他检索算法。

Sep, 2020

大型语言模型的检索增强文本生成综述

Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

Apr, 2024

使用任务特定的考试生成自动评估检索增强的语言模型

我们提出了一种新的方法来衡量检索增强的大型语言模型（RAG）的任务特定准确性。通过对与任务相关的文档语料库基于多项选择问题评分的自动生成合成考试来进行评估。我们的方法是自动化、成本高效、可解释和稳健的选择 RAG 系统的最佳组件的策略。我们利用项目反应理论（IRT）估计考试的质量和信息量，以提高任务特定准确性。我们在四个基于 Arxiv 摘要、StackExchange 问题、AWS DevOps 故障排除指南和 SEC 文件的新型开放问答任务上演示了我们的方法。此外，我们的实验揭示了影响 RAG 性能的更一般的因素，如大小、检索机制、提示和微调。最重要的是，我们的研究结果表明，选择正确的检索算法通常比仅仅使用更大的语言模型能够带来更大的性能收益。

May, 2024

在检索增强生成中寻找最佳实践

通过研究现有的 RAG 方法及其潜在组合，我们提出了几种既能兼顾性能又能提高效率的 RAG 策略，并证明多模态检索技术能显著增强对视觉输入的问答能力，并使用 “检索即生成” 策略加速多模态内容的生成。

Jul, 2024

ARAGOG：高级 RAG 输出评分

整合外部知识到大型语言模型输出，文献调研主要集中于最新方法与之前方法的比较，缺乏广泛的实验比较。本研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响来填补这一空白。研究发现，Hypothetical Document Embedding (HyDE) 和大型语言模型重排能显著提高检索精度。然而，Maximal Marginal Relevance (MMR) 和 Cohere 重排在基线 Naive RAG 系统上没有明显优势，而 Multi-query 方法表现不佳。句窗检索为最有效的检索精度方法，尽管在答案相似性上表现不稳定。研究证实文件摘要索引作为一种有效的检索方法。欢迎学术界进一步探索 RAG 系统的研究，相关资源可通过我们的 GitHub 资源库 ARAGOG 进行进一步调查。

Apr, 2024

DuetRAG: 协作检索增强生成

提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG，以同时整合领域微调和 RAG 模型，提高知识检索质量，从而提高生成质量。最后，在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。

May, 2024