Aug, 2024

RAGChecker：用于诊断增强检索生成的细粒度框架

HTML
PDF
TL;DR本研究针对增强检索生成（RAG）系统缺乏全面评估的问题，提出了细粒度评估框架RAGChecker，结合了一系列用于检索和生成模块的诊断指标。研究发现RAGChecker与人类判断的相关性显著优于其他评估指标，并通过对8个RAG系统的评估和深入分析，揭示了RAG架构设计的模式和权衡，能够指导研究人员和实践者开发更有效的RAG系统。
发现论文，激发创造
  • RAGAS: 用于检索增强生成的自动评估

    我们介绍了RAGAs（检索增强生成评估）框架，用于无参考评估检索增强生成（RAG）流程，并提出一套可以用来评估不同维度的指标，而无需依赖于人工标注的真值，这对于RAG体系结构的快速评估是至关重要的，尤其是考虑到LLMs的快速采用。

    Sep, 2023

  • 评估检索增强生成的检索质量

    评估检索增强生成（RAG）面临挑战，传统的端到端评估方法计算开销高，我们提出了一种新的评估方法eRAG，通过使用每个检索列表中的文档，基于下游任务的真实标签评估生成的输出。实验证明eRAG与下游RAG的性能呈较高相关性，并且具有显著的计算优势。

    Apr, 2024

  • 检索增强生成模型评估：一项调查

    Retrieval-Augmented Generation (RAG)系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析RAG系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

    May, 2024

  • FlashRAG: 一个高效的检索增强生成研究的模块化工具包

    我们提出了FlashRAG，一个高效且模块化的开源工具包，旨在帮助研究人员在一个统一的框架内复现现有的Retrieval Augmented Generation方法，并开发自己的方法。工具包实现了12种先进的RAG方法，并收集和组织了32个基准数据集。

    May, 2024

  • Ragnarök: TREC 2024 检索增强生成任务的可重复使用 RAG 框架和基线模型

    现代搜索系统如Bing Search和Google AI~Overviews已经发展到包括检索增强生成(RAG)系统，该研究论文提出了TREC 2024 RAG Track，用于评估和推动RAG系统的创新，工作中介绍了Ragnar"ok框架和关键工业基准。

    Jun, 2024

  • RAGBench: 用于检索增强生成系统的可解释性基准测试

    RAGBench是首个包含10万个有标签RAG系统实例的综合型大规模评估基准数据集，覆盖了五个独特的行业特定领域和各种RAG任务类型，并引入了可解释和可操作的RAG评估指标集TRACe。

    Jun, 2024

  • RAG Foundry: 增强检索增强生成的大型语言模型框架

    本研究解决了检索增强生成（RAG）系统实现中的复杂性问题，提出了RAG Foundry这一开源框架，使得数据创建、训练、推理和评估结合成一个工作流程。研究表明，通过该框架对Llama-3和Phi-3模型进行增强和微调，可以在三个知识密集型数据集上实现持续的性能提升。

    Aug, 2024

  • RAGChecker：一个用于诊断增强检索生成的细粒度框架

    本文解决了增强检索生成（RAG）系统在评估时面临的模块化特性和评估信度等挑战，提出了一种细粒度评估框架RAGChecker。通过元评估，RAGChecker在与人类判断的相关性上显著优于其他评估指标，能够为研究人员和从业者设计更有效的RAG系统提供指导。

    Aug, 2024

  • 朝着公平的检索增强生成：公平排序对检索增强生成的影响

    本研究解决了检索增强生成(RAG)系统中公平排序被忽视的问题。我们首次系统评估了集成公平排序的RAG系统，发现它们在生成质量方面能够与传统RAG系统相媲美，甚至在许多情况下超越后者，从而推动了相关项目提供者的公平增长。我们的研究为负责任与公平的RAG系统奠定了基础，并为未来研究开辟了新方向。

    Sep, 2024

  • CoFE-RAG：增强数据多样性的检索增强生成的全面全链评价框架

    本研究解决了检索增强生成系统评价中的数据多样性不足及问题定位困难等挑战。我们提出了Comprehensive Full-chain Evaluation (CoFE-RAG)框架，通过引入多粒度关键词以及全面的数据集，以评估RAG系统的各个阶段。该框架的实验结果显示了RAG系统在处理多样化数据场景中的有效性，为其能力和局限性提供了更细致的理解。

    Oct, 2024