Sep, 2023

RAGAS: 用于检索增强生成的自动评估

HTML
PDF
TL;DR我们介绍了RAGAs（检索增强生成评估）框架，用于无参考评估检索增强生成（RAG）流程，并提出一套可以用来评估不同维度的指标，而无需依赖于人工标注的真值，这对于RAG体系结构的快速评估是至关重要的，尤其是考虑到LLMs的快速采用。
发现论文，激发创造
  • ARES：一种用于检索增强生成系统的自动化评估框架

    通过使用综合训练数据，ARES通过微调轻量级语言模型评估RAG组件的质量，在KILT和SuperGLUE两个领域多任务中准确评估RAG系统的有效性。

    Nov, 2023

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的RAG策略，用于布尔代理RAG设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

    Apr, 2024

  • 检索增强生成模型评估：一项调查

    Retrieval-Augmented Generation (RAG)系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析RAG系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

    May, 2024

  • RAGBench: 用于检索增强生成系统的可解释性基准测试

    RAGBench是首个包含10万个有标签RAG系统实例的综合型大规模评估基准数据集，覆盖了五个独特的行业特定领域和各种RAG任务类型，并引入了可解释和可操作的RAG评估指标集TRACe。

    Jun, 2024

  • 自然语言处理中检索增强的生成模型：综述

    大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

    Jul, 2024

  • RAGChecker：一个用于诊断增强检索生成的细粒度框架

    本文解决了增强检索生成（RAG）系统在评估时面临的模块化特性和评估信度等挑战，提出了一种细粒度评估框架RAGChecker。通过元评估，RAGChecker在与人类判断的相关性上显著优于其他评估指标，能够为研究人员和从业者设计更有效的RAG系统提供指导。

    Aug, 2024

  • CoFE-RAG：增强数据多样性的检索增强生成的全面全链评价框架

    本研究解决了检索增强生成系统评价中的数据多样性不足及问题定位困难等挑战。我们提出了Comprehensive Full-chain Evaluation (CoFE-RAG)框架，通过引入多粒度关键词以及全面的数据集，以评估RAG系统的各个阶段。该框架的实验结果显示了RAG系统在处理多样化数据场景中的有效性，为其能力和局限性提供了更细致的理解。

    Oct, 2024

  • 基于PDF的检索增强生成（RAG）大型语言模型系统开发：经验报告

    本文针对如何使用PDF文档作为主要数据源开发检索增强生成（RAG）系统进行了经验报告，填补了相关研究的空白。该研究提出了一种将大型语言模型的生成能力与信息检索的精确性相结合的新方法，并详细说明了从数据收集到响应生成的完整流程，强调了技术挑战及实用解决方案。研究结果显示，此方法能显著提升生成模型在处理特定领域知识和实时信息检索中的可靠性。

    Oct, 2024