Jul, 2024

提升检索和管理检索：用于RAG系统质量和效率的四模块协同

HTML
PDF
TL;DR通过生成多个查询来克服单一查询的信息平台以及通过重写问题来消除二义性，我们提出了Query Rewriter+来增强Query Rewriter模块，同时通过引入Knowledge Filter模块解决RAG系统中存在的无关知识问题，并且引入Memory Knowledge Reservoir和Retriever Trigger模块解决冗余检索问题，这四个RAG模块通过增强响应质量和效率，经实验证明了其有效性。
发现论文，激发创造
  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 多跳-RAG: 用于多跳查询的检索增强生成的基准测试

    我们开发了一个新的数据集MultiHop-RAG，它由知识库、大量的多跳查询、它们的真实答案和相应的支持证据组成，并详细介绍了构建数据集的过程。我们进行了两个实验来展示MultiHop-RAG的基准化效用，实验结果表明现有的RAG方法在检索和回答多跳查询上表现不尽人意。我们希望MultiHop-RAG能成为开发有效的RAG系统的有价值资源，从而促进LLMs在实践中的更广泛应用。

    Jan, 2024

  • REAR：一种针对开放领域的问题回答的关联感知检索增强框架

    本文提出了REAR，这是一种适用于开放领域问答的关联感知检索增强方法，通过在大型语言模型中引入一个能够准确评估检索文档相关性的排名头，以及通过双粒度相关融合和抗干扰训练的改进方法进行训练，REAR能够更好地利用外部知识并在四个开放领域问答任务中显著优于其他竞争性的RAG方法。

    Feb, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • ERAGent: 提升检索增强语言模型的准确性、效率和个性化

    通过引入增强型问题重写器和知识过滤器以提高检索质量，以及引入检索触发器来减少不相关的外部知识检索，ERAGent框架在改善响应准确性，提高效率和个性化方面表现出优势，对于RAG领域的进展和实际系统的应用具有潜力。

    May, 2024

  • DR-RAG: 将动态文档相关性应用于检索增强问答生成

    通过将外部知识库融入到Retrieval-Augmented Generation (RAG)中，提出了一种名为Dynamic-Relevant Retrieval-Augmented Generation （DR-RAG）的两阶段检索框架，用于改善文档检索的召回率和答案的准确性，同时保持高效性，通过对检索到的文档的贡献进行分类确定相对相关的文档，实验证明DR-RAG能显著提高答案的准确性，并在QA系统方面取得新的进展。

    Jun, 2024

  • Pistis-RAG: 一种可扩展的层级框架用于可信的检索增强生成

    使用Pistis-RAG框架以及内容为中心的方法，通过改进排序阶段，提高了检索增强生成系统的性能，并且能够更好地对鲜为人知的UI交互进行建模以及处理。

    Jun, 2024

  • 自然语言处理中检索增强的生成模型：综述

    大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

    Jul, 2024

  • MemoRAG：通过基于记忆的知识发现迈向下一代RAG

    本研究解决了现有检索增强生成（RAG）方法在处理模糊信息需求和非结构化知识时的局限性。提出的MemoRAG使用双系统架构，通过长时记忆提高检索能力，显著提升了复杂任务的表现，潜在影响在于推动RAG技术的进一步发展。

    Sep, 2024

  • MemoRAG：通过记忆启发的知识发现迈向下一代RAG

    本研究针对现有检索增强生成（RAG）方法在处理模糊信息需求和非结构化知识方面的局限性，提出了MemoRAG这一新颖的生成范例。通过双系统架构，MemoRAG结合了长程记忆和强大的生成能力，在多种评估任务中展现出优异的性能，有效地扩展了RAG的应用范围。

    Sep, 2024