Mar, 2024

RAGGED: 面向具备信息的检索增强生成系统的设计

HTML
PDF
TL;DR检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架RAGGED下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器-解码器和仅解码器架构中表现优异的LMs。研究结果显示，不同的模型适用于不同的RAG配置，而编码器-解码器模型在使用更多文档时呈现出单调改进，而仅解码器模型只能有效使用小于5个文档，尽管其上下文窗口通常更长。此外，RAGGED还揭示了LMs的上下文利用习惯，其中编码器-解码器模型更依赖上下文，并且对于检索质量更为敏感，而仅解码器模型则更倾向于依赖训练中记忆的知识。
发现论文，激发创造
  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 噪声的力量：为RAG系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

    Apr, 2024

  • 通过稀疏上下文选择加速检索辅助生成的推理

    通过引入稀疏技术，Sparse RAG提出了一种新颖的范式，在提高生成质量的同时减少计算成本，通过并行编码检索文档并选择性地解码输出，既降低了延迟，又提升了模型的焦点和生成质量。

    May, 2024

  • 揭示双重检索增强生成的理论分析与实践解决方案

    使用检索增强生成（RAG）的方法将检索到的文本用于增强大型语言模型（LLM）。然而，研究显示RAG并不一致有效，甚至可能因检索到的文本含有噪声或错误而误导LLM，这表明RAG具有双重性，既有益又有害。本研究分离和形式化RAG的益处和害处，通过表征相似度来近似它们之间的差距，并建立它们之间的权衡机制，使其可解释、可量化和可比较。根据我们的理论，提出了一种实用的新方法X-RAG，在标记级别上实现纯LLM和RAG的协同生成，以保留好处和避免害处。基于OPT、LLaMA-2和Mistral的LLMs的实验表明了我们方法的有效性并支持了我们的理论结果。

    Jun, 2024

  • 在长上下文语言模型时代捍卫RAG

    本文针对传统检索增强生成（RAG）在长上下文语言模型（LLMs）面临的应用挑战，提出了一种新的有序保留的检索增强生成机制（OP-RAG）。研究表明，与长上下文LLMs相比，OP-RAG在长上下文问答任务中提升了答案质量，且在检索块数量适中的情况下表现最佳，显示出RAG在新环境中的潜在价值。

    Sep, 2024

  • 更轻更好：面向灵活上下文适应的检索增强生成

    本研究解决了现有检索增强生成系统在成本和有效性方面的重大挑战。提出的FlexRAG方法通过将检索到的上下文压缩为紧凑的嵌入，优化了下游RAG性能，从而提升了生成质量并显著降低了运行成本。我们的实验验证了FlexRAG在多种问答数据集上的有效性，证明其为RAG系统提供了一种成本效益高且灵活的解决方案。

    Sep, 2024

  • 检索增强生成中的上下文压缩：大型语言模型的综述

    本研究主要解决大型语言模型（LLMs）在生成内容时面临的幻觉、知识陈旧和推理不清等问题。通过检索增强生成（RAG）技术，结合LLMs的内在知识与外部数据库，本文提出了一种新的上下文压缩范式，并分析其演变和当前挑战，为未来的研究方向指明了道路。

    Sep, 2024

  • 精明的检索增强生成：克服大型语言模型的不完善检索增强和知识冲突

    本研究解决了检索增强生成（RAG）中不完善检索导致知识冲突和信息不可靠的问题。提出的精明RAG方法通过从内部知识中自适应提取关键信息，并在后期整合内部和外部知识，显著提高了模型的鲁棒性和可靠性。实验结果显示，精明RAG在最坏情况下的表现超过了现有的RAG方法，改善了系统的可信度和稳健性。

    Oct, 2024

  • 朝向最佳检索与获取的研究

    本研究针对检索增强生成（RAG）中检索器和阅读器之间的关系进行探讨，旨在优化检索器以提高常见任务（如问答）的性能。通过实验证明，降低检索精度对RAG的性能影响较小，但可以提高检索速度和内存效率，为开发高性能RAG管道提供了重要的见解。

    Nov, 2024