通过稀疏上下文选择加速检索辅助生成的推理

May, 2024

通过稀疏上下文选择加速检索辅助生成的推理

Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection

Yun Zhu, Jia-Chen Gu, Caitlin Sikora, Ho Ko, Yinxiao Liu...

TL;DR通过引入稀疏技术，Sparse RAG 提出了一种新颖的范式，在提高生成质量的同时减少计算成本，通过并行编码检索文档并选择性地解码输出，既降低了延迟，又提升了模型的焦点和生成质量。

Abstract

large language models (LLMs) augmented with retrieval exhibit robust performance and extensive versatility by incorporating external contexts. However, the input length grows linearly in the number of retrieved document

large language models sparse rag retrieved documents computation costs generation quality

发现论文，激发创造

RAGGED: 面向具备信息的检索增强生成系统的设计

检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架 RAGGED 下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器 - 解码器和仅解码器架构中表现优异的 LMs。研究结果显示，不同的模型适用于不同的 RAG 配置，而编码器 - 解码器模型在使用更多文档时呈现出单调改进，而仅解码器模型只能有效使用小于 5 个文档，尽管其上下文窗口通常更长。此外，RAGGED 还揭示了 LMs 的上下文利用习惯，其中编码器 - 解码器模型更依赖上下文，并且对于检索质量更为敏感，而仅解码器模型则更倾向于依赖训练中记忆的知识。

Mar, 2024

上下文调整以提升检索增强生成

利用上下文调整的检索增强生成模型可以通过智能上下文检索系统获取相关信息，从而提高工具检索和计划生成的准确性。其中，语义搜索在不完整或缺乏上下文的情况下容易失效。经验证明，上下文调整显著提高了语义搜索的性能，并且对于上下文检索和工具检索任务分别实现了 3.5 倍和 1.5 倍的提升，同时使基于 LLM 的计划生成的准确性增加了 11.6％。此外，在使用倒数排名融合（RRF）和 LambdaMART 的轻量级模型时，还观察到了计划生成阶段的上下文增强可以减少虚构现象。

Dec, 2023

大语言模型的检索增强生成：综述

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

大型语言模型的检索增强文本生成综述

Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

Apr, 2024

噪声的力量：为 RAG 系统重新定义检索

通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

Jan, 2024

RQ-RAG: 学习改进用于检索增强生成的查询

学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

Mar, 2024

CodeRAG-Bench：检索能增强代码生成吗？

研究发现传统的语言模型在生成代码方面有一定困难，通过提供外部上下文信息如库文档可以改善代码生成效果。通过系统性的大规模分析，发现在何种场景下使用检索增强生成模型能够对代码生成产生帮助，并且存在改进的空间。通过创建了一个综合评估基准，CodeRAG-Bench，涵盖了基本编程、开放域和代码库级别的代码生成任务，实现从五个来源中检索上下文，结果显示在不同设置中通过检索高质量上下文能够提升最终代码生成效果，同时也揭示了当前检索器在词汇重叠有限的情况下仍然难以获取有用的上下文，并且生成器在上下文长度有限或者无法整合额外上下文的能力上存在不足。希望 CodeRAG-Bench 能够成为有效的测试平台，促进进一步开发针对代码导向的检索增强生成方法。

Jun, 2024

通过自学使大型语言模型能够建立知识检索索引器

该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

May, 2024

xRAG：一令牌极其上下文压缩的检索增强生成

xRAG 是一种针对检索增强生成的创新上下文压缩方法，通过模态融合的方法将文档嵌入重新解释为来自检索模态的特征，并在语言模型表示空间中无缝集成这些嵌入以实现极高的压缩率。实验证明，xRAG 在六个强调知识的任务中达到了平均改进 10% 以上，适用于各种语言模型主干结构，从密集 7B 模型到 8x7B 多专家结构。xRAG 不仅显著超越了以前的上下文压缩方法，而且在减少计算量（FLOPs）的同时，与未压缩模型在多个数据集上保持了相当的性能，为未来有效和可伸缩的检索增强系统奠定了基础。

May, 2024

混合 RAG：通过语义搜索和混合基于查询的检索器提高 RAG（召回增强生成）的准确性

基于 Retrieval-Augmented Generation (RAG) 方法，结合语义搜索技术，如稠密向量索引和稀疏编码器索引，以及混合查询策略，我们提出了 ' 混合 RAG' 方法。通过在 IR 数据集和 Generative Q&A 数据集上取得更好的检索结果并创造新的基准，我们进一步将这种 ' 混合 Retriever' 扩展到 RAG 系统，甚至超过 fine-tuning 性能。

Mar, 2024