大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
检视了检索增强型大型语言模型(RA-LLMs)的现有研究,涵盖体系结构、训练策略和应用三个主要技术视角,并介绍了此类模型的基础知识和最新进展,以及它们为大型语言模型(LLMs)带来的实际意义和应用领域的挑战和能力,最后讨论了当前的局限性和未来研究的几个有前途的方向。
May, 2024
Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法,旨在通过动态整合最新的外部信息解决大型语言模型(LLMs)的静态限制,并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别,并从检索的角度提供了详细的视角,同时介绍了 RAG 的演进和领域的进展。此外,该论文还提出了针对 RAG 的评估方法,并提出了面临的挑战和未来的研究方向,旨在巩固现有的 RAG 研究,明确其技术基础,并突出其扩展 LLMs 的适应性和应用潜力。
Apr, 2024
MetaRAG 通过将检索增强生成过程与元认知相结合,使模型能够监控、评估和规划其响应策略,提升其内省性推理能力,从而显著优于现有方法。
Feb, 2024
通过对 Retrieval-Augmented Generation 对大型语言模型的影响进行系统调查和评估,本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战,表明在将 RAG 有效应用于大型语言模型方面仍有很长的路要走。
Sep, 2023
通过结合检索式方法和生成模型,提出了 TrojRAG 来识别检索部分(RAG 数据库)的漏洞和攻击,并间接攻击生成部分(LLMs),通过中毒定制内容来实现检索后门和语义操纵,这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。
Jun, 2024
自主生物文档检索增强式生成(Self-BioRAG)是一种可靠的生物医学文本生成解释、检索特定领域文档,并进行自我反思的框架。通过使用 84k 个过滤后的生物医学指令集训练 Self-BioRAG,它可以使用定制的反思标记评估其生成的解释。实验结果表明,Self-BioRAG 在三个主要的医学问答基准数据集上实现了显著的性能增益,平均绝对改进率为 7.2%,超过了参数大小为 7B 或更少的最先进的开放式基础模型。我们将数据和模型权重(7B 和 13B)发布出来,以增强生物医学和临床领域的能力。
Jan, 2024
大型语言模型(LLMs)在医疗应用中具有重要潜力,而检索增强生成(RAG)被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程,验证了其可行性。
该研究提出了一种名为 PG-RAG 的预检索框架,使用大量阅读材料和结构化的语境记录来构建伪图数据库,该框架在单文档和多文档的问题回答任务中表现出明显的改进,具有高性能的检索和生成能力。