May, 2024

不要忘记连接！使用基于图的再排序提升 RAG

PDF
TL;DRG-RAG is a graph neural network-based reranker that combines connections between documents and semantic information to improve the performance of Large Language Model-based Retrieval Augmented Generation (RAG) systems.
retrieval augmented generationraglarge language modelg-ragreranker
发现论文，激发创造
  • 通过自学使大型语言模型能够建立知识检索索引器

    该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

    May, 2024

  • 噪声的力量：为 RAG 系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • GNN-RAG：用于大规模语言模型推理的图神经网络检索

    本文介绍了 GNN-RAG，一种将 LLMs 的语言理解能力与 GNNs 的推理能力以检索增强生成（RAG）风格相结合的新方法。通过 GNN 在稠密的 KG 子图上推理，提取连接问题实体和答案候选的最短路径，将其转化为 LLM 推理的输入。实验证明，GNN-RAG 在 WebQSP 和 CWQ 这两个广泛使用的 KGQA 基准测试中取得了最先进的性能，在 7B 调整的 LLM 上胜过或与 GPT-4 性能相匹配。此外，GNN-RAG 在多跳和多实体问题上表现出色，其答案 F1 得分超过竞争方法 8.9-15.5%。

    May, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • DR-RAG: 将动态文档相关性应用于检索增强问答生成

    通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中，提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation （DR-RAG）的两阶段检索框架，用于改善文档检索的召回率和答案的准确性，同时保持高效性，通过对检索到的文档的贡献进行分类确定相对相关的文档，实验证明 DR-RAG 能显著提高答案的准确性，并在 QA 系统方面取得新的进展。

    Jun, 2024

  • 弥合检索模型与语言模型之间的偏好差距

    我们提出了一个新的桥接模型，并验证了 RAG 中检索器的排序和选择假设，并提出了一个将监督学习和强化学习连接起来的培训框架，在问答和个性化生成任务中证明了我们方法的有效性。

    Jan, 2024

  • 基于图的检索器捕捉生物医学知识的长尾

    通过利用知识图谱缓解信息过载问题，本研究提出了一种新的信息检索方法，其检索性能在精确度和召回率两方面约为嵌入相似性方法的两倍，并且证明了嵌入相似性和知识图谱检索方法可以有益地结合成一个混合模型，优于两者，从而能够对生物医学问答模型进行潜在改进。

    Feb, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024