ICLRMar, 2024

构建技术文档的 RAG 系统的观察

PDF
TL;DR技术文件的检索增强生成（RAG）面临的挑战在于嵌入不经常捕捉到域信息。我们回顾了影响 RAG 的重要因素的先前研究，并进行实验以突出最佳实践和建立技术文件 RAG 系统的潜在挑战。
发现论文，激发创造
  • 通过增强 PDF 结构识别来改革检索增强生成

    当前研究发现，基于高质量文本语料的专业知识问答系统的有效性受到 PDF 解析准确度的限制。一项实证实验表明，配备全景式和精准的 PDF 解析器的 RAG 系统 ChatDOC 能够检索更准确、更完整的片段，并给出更好的答案。实证实验显示，在接近 47% 的问题上，ChatDOC 优于基线系统，在 38% 的情况下相当，仅在 15% 的情况下表现不及。这表明通过提高 PDF 结构识别技术，我们可能革新 RAG。

    Jan, 2024

  • RAG 不适用于企业

    通过结合知识检索，改进大型语言模型的输出的准确性和相关性的检索增强生成（RAG）在企业中的实施面临数据安全、准确性、可扩展性和集成方面的挑战。本文探讨了企业 RAG 的独特需求，调查了当前方法和限制，并讨论了语义搜索、混合查询和优化检索的潜在进展。它提出了一个评估框架，以验证企业 RAG 解决方案的能力，包括定量测试、定性分析、消融研究和行业案例研究。该框架旨在帮助证明面向企业级安全、合规性和集成性能够提供准确性和相关性改进的目的构建的 RAG 架构的能力。本文总结了企业部署的含义、限制和未来研究方向。研究人员与行业合作伙伴之间的密切合作可能加速检索增强生成技术的开发和部署的进展。

    May, 2024

  • 噪声的力量：为 RAG 系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • 检索增强生成模型评估：一项调查

    Retrieval-Augmented Generation (RAG) 系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析 RAG 系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

    May, 2024

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 利用检索增强生成（RAG）揭示知识缺口

    利用检索增强生成（RAG）模型揭示互联网上的知识空白的方法论，并通过模拟用户搜索行为，RAG 系统识别和解决信息检索系统中的空白。该研究展示了 RAG 系统在生成相关建议方面的有效性，准确率达到 93％。该方法可以应用于科学发现、教育增强、研究发展、市场分析、搜索引擎优化和内容开发等各个领域。研究结果突出了识别和理解知识空白以指导未来努力的价值。

    Dec, 2023

  • ARAGOG：高级 RAG 输出评分

    整合外部知识到大型语言模型输出，文献调研主要集中于最新方法与之前方法的比较，缺乏广泛的实验比较。本研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响来填补这一空白。研究发现，Hypothetical Document Embedding (HyDE) 和大型语言模型重排能显著提高检索精度。然而，Maximal Marginal Relevance (MMR) 和 Cohere 重排在基线 Naive RAG 系统上没有明显优势，而 Multi-query 方法表现不佳。句窗检索为最有效的检索精度方法，尽管在答案相似性上表现不稳定。研究证实文件摘要索引作为一种有效的检索方法。欢迎学术界进一步探索 RAG 系统的研究，相关资源可通过我们的 GitHub 资源库 ARAGOG 进行进一步调查。

    Apr, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 评估检索增强生成的检索质量

    评估检索增强生成（RAG）面临挑战，传统的端到端评估方法计算开销高，我们提出了一种新的评估方法 eRAG，通过使用每个检索列表中的文档，基于下游任务的真实标签评估生成的输出。实验证明 eRAG 与下游 RAG 的性能呈较高相关性，并且具有显著的计算优势。

    Apr, 2024