CRAG - 全面的 RAG 基准
Retrieval-Augmented Generation (RAG) 技术通过整合外部知识源提升了大型语言模型 (LLM) 的能力,克服了 LLM 存在的过时信息和生成不准确 “幻象” 内容的问题。本文构建了一个大规模且更全面的基准测试,评估了 RAG 系统的所有组成部分在不同应用场景中的性能,并对 RAG 技术在不同场景下的优化提供了有用的见解。
Jan, 2024
提供外部知识给大规模语言模型是实际应用中的关键点之一,为了融入实时的内容、提供特定领域知识以及预防生成虚构内容。通过数据库向量检索增强生成(RAG)方法已经被广泛采用,然而在某些应用中,使用 RAG 方法可能不可行,因为所检索的上下文可能需要比 LLM 支持的上下文窗口更长。为了解决这个问题,我们提出了一种名为 CRAG 的新方法,能够有效减少提示词数量,而不会降低生成的响应质量与使用 RAG 的解决方案相比。通过实验证明,与 RAG 相比,CRAG 方法可以至少减少 46% 的词数量,在某些情况下甚至能达到 90% 以上。此外,与 RAG 相比,CRAG 的词数在分析评论数增加时不会显著增加,当评论数从 4 个增加到 75 个时,RAG 的词数几乎增加了 9 倍。
May, 2024
大语言模型(LLMs)不可避免地产生幻觉,因为仅依靠它们所封装的参数知识无法确保生成的文本的准确性。为了改善生成的鲁棒性,我们提出了纠正检索增强生成(CRAG)。通过设计轻量级的检索评估模型来评估检索文档的整体质量,并基于此返回信心度,从而触发不同的知识检索操作。此外,利用大规模网络搜索扩展检索结果。通过分解和重组算法,选择性关注关键信息并过滤掉不相关信息。CRAG 与各种基于 RAG 的方法可以无缝连接。在涵盖短文和长文生成任务的四个数据集上的实验表明,CRAG 可以显著提高基于 RAG 的方法的性能。
Jan, 2024
该论文介绍了一种名为 KG-RAG(知识图谱 - 检索增强生成)的框架,通过将结构化的知识图谱与 LLMs 的功能集成,显著减少对 LLMs 潜在知识的依赖,从而提高 LLM 的知识能力。通过使用一种名为 CoE(Chain of Explorations)的算法,利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系,该方法较之前取得了显著减少虚构内容的结果,为发展处理知识密集型任务的智能系统提供了有希望的路径。
May, 2024
通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中,提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG)的两阶段检索框架,用于改善文档检索的召回率和答案的准确性,同时保持高效性,通过对检索到的文档的贡献进行分类确定相对相关的文档,实验证明 DR-RAG 能显著提高答案的准确性,并在 QA 系统方面取得新的进展。
Jun, 2024
检验 Retrieval-Augmented Generation (RAG)在特定领域环境中的能力与效果,评估存在的限制并寻求改进的研究。
Jun, 2024
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
Retrieval-Augmented Generation (RAG) 系统的评估和分析框架(RGAR)提供了一种基于可测输出和已建立真实性来系统分析 RAG 系统基准的方法,并讨论了当前基准的局限性和进一步研究的潜在方向。
May, 2024
提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG,以同时整合领域微调和 RAG 模型,提高知识检索质量,从而提高生成质量。最后,在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。
May, 2024