Aug, 2024

RAG Foundry: 增强检索增强生成的大型语言模型框架

HTML
PDF
TL;DR本研究解决了检索增强生成（RAG）系统实现中的复杂性问题，提出了RAG Foundry这一开源框架，使得数据创建、训练、推理和评估结合成一个工作流程。研究表明，通过该框架对Llama-3和Phi-3模型进行增强和微调，可以在三个知识密集型数据集上实现持续的性能提升。
发现论文，激发创造
  • RAGAS: 用于检索增强生成的自动评估

    我们介绍了RAGAs（检索增强生成评估）框架，用于无参考评估检索增强生成（RAG）流程，并提出一套可以用来评估不同维度的指标，而无需依赖于人工标注的真值，这对于RAG体系结构的快速评估是至关重要的，尤其是考虑到LLMs的快速采用。

    Sep, 2023

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的RAG策略，用于布尔代理RAG设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

    Apr, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 检索增强生成模型评估：一项调查

    Retrieval-Augmented Generation (RAG)系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析RAG系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

    May, 2024

  • 自然语言处理中检索增强的生成模型：综述

    大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

    Jul, 2024

  • CoFE-RAG：增强数据多样性的检索增强生成的全面全链评价框架

    本研究解决了检索增强生成系统评价中的数据多样性不足及问题定位困难等挑战。我们提出了Comprehensive Full-chain Evaluation (CoFE-RAG)框架，通过引入多粒度关键词以及全面的数据集，以评估RAG系统的各个阶段。该框架的实验结果显示了RAG系统在处理多样化数据场景中的有效性，为其能力和局限性提供了更细致的理解。

    Oct, 2024

  • 基于PDF的检索增强生成（RAG）大型语言模型系统开发：经验报告

    本文针对如何使用PDF文档作为主要数据源开发检索增强生成（RAG）系统进行了经验报告，填补了相关研究的空白。该研究提出了一种将大型语言模型的生成能力与信息检索的精确性相结合的新方法，并详细说明了从数据收集到响应生成的完整流程，强调了技术挑战及实用解决方案。研究结果显示，此方法能显著提升生成模型在处理特定领域知识和实时信息检索中的可靠性。

    Oct, 2024

  • 在学术数据上优化检索增强生成的方法研究

    本研究针对在特定领域中整合检索增强生成（RAG）技术的现有不足，提出了四种优化方法以提升其在学术领域的功能和性能。通过引入新的评估方法RAG混淆矩阵，并结合多查询策略，实验结果显示在检索阶段引入多查询显著提高了系统的性能。

    Nov, 2024