Jun, 2024

从 RAG 到 RICHES：检索交织序列生成

PDF
TL;DRRICHES 是一种新颖的方法，通过在检索和序列生成任务中交替进行，消除了传统 RAG 系统中分离的检索器和生成器的需求，通过编码内容直接检索文档并在语料库上进行约束。统一检索与生成使我们能够仅通过提示适应多样化的新任务，而不需要额外的训练。RICHES 可以与任何经过调整的模型一起使用，提供属性证据，支持多跳检索，并在单个解码步骤中交错思考来规划下一步的检索，我们展示了 RICHES 在包括属性和多跳 QA 在内的 ODQA 任务中的强大性能。
richesretrievalsequence generationinstruction-tuned modelodqa
发现论文，激发创造
  • RichRAG：在检索增强生成中为多方面查询创建丰富的回复

    为了解决用户在发出宽泛、开放式的查询时得到丰富的、多方面的回复的问题，我们提出了一种新颖的检索增强生成框架 ——RichRAG。该框架包括一个子方面探索器，用于识别问题中的潜在子方面；一个多方面检索器，用于构建与这些子方面相关的多样化外部文档的候选池；以及一个生成型列表排序器，它是为最终生成器提供前 k 个最有价值的文档的关键模块。经过实验证明，我们的框架能够有效、高效地为用户提供全面且满意的回复。

    Jun, 2024

  • 混合 RAG：通过语义搜索和混合基于查询的检索器提高 RAG（召回增强生成）的准确性

    基于 Retrieval-Augmented Generation (RAG) 方法，结合语义搜索技术，如稠密向量索引和稀疏编码器索引，以及混合查询策略，我们提出了 ' 混合 RAG' 方法。通过在 IR 数据集和 Generative Q&A 数据集上取得更好的检索结果并创造新的基准，我们进一步将这种 ' 混合 Retriever' 扩展到 RAG 系统，甚至超过 fine-tuning 性能。

    Mar, 2024

  • RAGGED: 面向具备信息的检索增强生成系统的设计

    检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架 RAGGED 下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器 - 解码器和仅解码器架构中表现优异的 LMs。研究结果显示，不同的模型适用于不同的 RAG 配置，而编码器 - 解码器模型在使用更多文档时呈现出单调改进，而仅解码器模型只能有效使用小于 5 个文档，尽管其上下文窗口通常更长。此外，RAGGED 还揭示了 LMs 的上下文利用习惯，其中编码器 - 解码器模型更依赖上下文，并且对于检索质量更为敏感，而仅解码器模型则更倾向于依赖训练中记忆的知识。

    Mar, 2024

  • 在检索增强生成中寻找最佳实践

    通过研究现有的 RAG 方法及其潜在组合，我们提出了几种既能兼顾性能又能提高效率的 RAG 策略，并证明多模态检索技术能显著增强对视觉输入的问答能力，并使用 “检索即生成” 策略加速多模态内容的生成。

    Jul, 2024

  • 噪声的力量：为 RAG 系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • RAG 编年史：检索器、切片器与生成器

    这篇论文提出了一种在巴西葡萄牙语中实施、优化和评估 RAG 模型的最佳实践，并建立了一个简单的推理和实验流程，通过对第一本《哈利・波特》书中的问题进行回答，提出了一种有效集成检索模型、高效的表示学习和多样化数据等挑战的解决方案，并在检索者的质量上实现了 MRR@10 相对基准改进 35.4%，在应用中优化输入大小后观察到进一步提升 2.4% 的结果，最终展示了 RAG 的完整架构和推荐。

    Jan, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • DuetRAG: 协作检索增强生成

    提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG，以同时整合领域微调和 RAG 模型，提高知识检索质量，从而提高生成质量。最后，在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。

    May, 2024

  • 揭示双重检索增强生成的理论分析与实践解决方案

    使用检索增强生成（RAG）的方法将检索到的文本用于增强大型语言模型（LLM）。然而，研究显示 RAG 并不一致有效，甚至可能因检索到的文本含有噪声或错误而误导 LLM，这表明 RAG 具有双重性，既有益又有害。本研究分离和形式化 RAG 的益处和害处，通过表征相似度来近似它们之间的差距，并建立它们之间的权衡机制，使其可解释、可量化和可比较。根据我们的理论，提出了一种实用的新方法 X-RAG，在标记级别上实现纯 LLM 和 RAG 的协同生成，以保留好处和避免害处。基于 OPT、LLaMA-2 和 Mistral 的 LLMs 的实验表明了我们方法的有效性并支持了我们的理论结果。

    Jun, 2024

  • 基于 RAG 的多源检索问答框架

    基于 GPT-3.5 的多源检索框架（MSRAG）实现了检索增强生成技术（RAG）的改进，提高了问答系统的效率和准确性。

    May, 2024