Feb, 2024

有效提升检索和生成的财务报告分块

PDF
TL;DR通过使用基于文档结构的元素类型作为切块依据，我们提出了一种扩展的文档切块方法，以获得最佳切块大小，进而改善 Retrieval Augmented Generation (RAG) 的性能。该研究还深入分析了不同元素类型在信息检索中的作用，并讨论了它们对 RAG 结果质量的影响。
发现论文，激发创造
  • 基于 RAG 的金融文件问答模型检索性能改进

    通过改进文本检索过程，本文探讨了 RAG 管道的现有限制并引入了提升文本检索的方法，包括先进的文本切块技术、查询扩展、元数据注释的应用、重新排序算法以及嵌入算法的微调。通过实施这些方法可以大幅提高检索质量，从而提升 LLM 在处理和响应查询时的整体效果和可靠性。

    Mar, 2024

  • 基于原子单元的企业 RAG 的问题检索

    通过将文档切分成原子语句并生成与原子语句相关的合成问题，本研究实现了在企业级检索增强生成中更准确的检索召回，并观察到使用原子语句检索和合成问题检索能够提高检索步骤的召回率，从而提高企业级大型语言模型的性能。

    May, 2024

  • 通过增强 PDF 结构识别来改革检索增强生成

    当前研究发现，基于高质量文本语料的专业知识问答系统的有效性受到 PDF 解析准确度的限制。一项实证实验表明，配备全景式和精准的 PDF 解析器的 RAG 系统 ChatDOC 能够检索更准确、更完整的片段，并给出更好的答案。实证实验显示，在接近 47% 的问题上，ChatDOC 优于基线系统，在 38% 的情况下相当，仅在 15% 的情况下表现不及。这表明通过提高 PDF 结构识别技术，我们可能革新 RAG。

    Jan, 2024

  • 无分块上下文检索的语言模型基础

    本文提出了一种新颖的无切块上下文（CFIC）检索方法，专门为检索增强生成（RAG）系统定制。CFIC 通过绕过传统的切块过程，利用文档的编码隐藏状态进行上下文检索，采用自回归解码准确识别用户查询所需的具体证据文本，消除了切块的需求。通过结合约束句前缀解码和跳过解码等两种策略，CFIC 进一步提高了检索过程的效率，并保证了生成的基于证据文本的真实性。对多个开放型 QA 数据集的评估表明，CFIC 在检索相关准确证据方面优于传统方法，为 RAG 系统领域带来了重大改进。CFIC 无需切块，提供了更简化、更有效和更高效的检索解决方案，成为 RAG 系统领域的一个有价值的进步。

    Feb, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • RAG 编年史：检索器、切片器与生成器

    这篇论文提出了一种在巴西葡萄牙语中实施、优化和评估 RAG 模型的最佳实践，并建立了一个简单的推理和实验流程，通过对第一本《哈利・波特》书中的问题进行回答，提出了一种有效集成检索模型、高效的表示学习和多样化数据等挑战的解决方案，并在检索者的质量上实现了 MRR@10 相对基准改进 35.4%，在应用中优化输入大小后观察到进一步提升 2.4% 的结果，最终展示了 RAG 的完整架构和推荐。

    Jan, 2024

  • 构建技术文档的 RAG 系统的观察

    技术文件的检索增强生成（RAG）面临的挑战在于嵌入不经常捕捉到域信息。我们回顾了影响 RAG 的重要因素的先前研究，并进行实验以突出最佳实践和建立技术文件 RAG 系统的潜在挑战。

    Mar, 2024

  • 超越提取：通过语言模型对表格数据进行上下文化总结

    通过存储 PDF 文档和单独提取表格内容，使用 Llama-2-chat 语言模型进行汇总，并通过 ChatGPT 3.5 API 增强表格数据的上下文意义，该研究提出了一种创新方法，以显著提高 Retrieval-Augmented Generation 中复杂表格查询的准确性，为信息检索中长期存在的挑战提供了有希望的解决方案。

    Jan, 2024

  • 混合粒度：优化用于检索增强生成的分块粒度

    通过将来自不同参考数据源的信息整合在一起，我们提出了一种动态确定知识数据库最佳粒度的方法，并且在预测上游任务性能时表现良好。

    Jun, 2024

  • DR-RAG: 将动态文档相关性应用于检索增强问答生成

    通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中，提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation （DR-RAG）的两阶段检索框架，用于改善文档检索的召回率和答案的准确性，同时保持高效性，通过对检索到的文档的贡献进行分类确定相对相关的文档，实验证明 DR-RAG 能显著提高答案的准确性，并在 QA 系统方面取得新的进展。

    Jun, 2024