RAG Foundry: 增强检索增强生成的大型语言模型框架
我们介绍了RAGAs(检索增强生成评估)框架,用于无参考评估检索增强生成(RAG)流程,并提出一套可以用来评估不同维度的指标,而无需依赖于人工标注的真值,这对于RAG体系结构的快速评估是至关重要的,尤其是考虑到LLMs的快速采用。
Sep, 2023
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式,总结了三种范式:Naive RAG,Advanced RAG和Modular RAG。同时,它提供了RAG的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估RAG模型的有效性,并介绍了两种RAG的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
检索增强生成(RAG)系统在通过领域特定和时间敏感数据增强大型语言模型(LLM)输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程,从而定量比较了不同的RAG策略,用于布尔代理RAG设置的开发和评估。我们在线发布了我们的代码和生成的数据集。
Feb, 2024
Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法,旨在通过动态整合最新的外部信息解决大型语言模型(LLMs)的静态限制,并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别,并从检索的角度提供了详细的视角,同时介绍了RAG的演进和领域的进展。此外,该论文还提出了针对RAG的评估方法,并提出了面临的挑战和未来的研究方向,旨在巩固现有的RAG研究,明确其技术基础,并突出其扩展LLMs的适应性和应用潜力。
Apr, 2024
检视了检索增强型大型语言模型(RA-LLMs)的现有研究,涵盖体系结构、训练策略和应用三个主要技术视角,并介绍了此类模型的基础知识和最新进展,以及它们为大型语言模型(LLMs)带来的实际意义和应用领域的挑战和能力,最后讨论了当前的局限性和未来研究的几个有前途的方向。
May, 2024
Retrieval-Augmented Generation (RAG)系统的评估和分析框架(RGAR)提供了一种基于可测输出和已建立真实性来系统分析RAG系统基准的方法,并讨论了当前基准的局限性和进一步研究的潜在方向。
May, 2024
我们提出了FlashRAG,一个高效且模块化的开源工具包,旨在帮助研究人员在一个统一的框架内复现现有的Retrieval Augmented Generation方法,并开发自己的方法。工具包实现了12种先进的RAG方法,并收集和组织了32个基准数据集。
May, 2024
以BERT为基础的生成模型,利用外部知识辅助检索,通过系统性评估不同组件在RAG流程中的影响,提出BERGEN,一个用于标准化可复现研究的端到端库,对问答问题进行广泛的研究,并评估不同的检索器、排序器和生成模型,同时分析现有的RAG度量和数据集。
Jul, 2024
RAGBench是首个包含10万个有标签RAG系统实例的综合型大规模评估基准数据集,覆盖了五个独特的行业特定领域和各种RAG任务类型,并引入了可解释和可操作的RAG评估指标集TRACe。
Jun, 2024
大型语言模型和检索增强生成技术在各个领域取得巨大成功,但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术,特别是在检索器和检索融合方面,并提供了教程代码以实现这些代表性技术。此外,本文讨论了检索增强生成技术的训练方法和应用,并探讨了其未来发展方向和挑战。
Jul, 2024