Feb, 2024

无分块上下文检索的语言模型基础

PDF
TL;DR本文提出了一种新颖的无切块上下文（CFIC）检索方法，专门为检索增强生成（RAG）系统定制。CFIC 通过绕过传统的切块过程，利用文档的编码隐藏状态进行上下文检索，采用自回归解码准确识别用户查询所需的具体证据文本，消除了切块的需求。通过结合约束句前缀解码和跳过解码等两种策略，CFIC 进一步提高了检索过程的效率，并保证了生成的基于证据文本的真实性。对多个开放型 QA 数据集的评估表明，CFIC 在检索相关准确证据方面优于传统方法，为 RAG 系统领域带来了重大改进。CFIC 无需切块，提供了更简化、更有效和更高效的检索解决方案，成为 RAG 系统领域的一个有价值的进步。
发现论文，激发创造
  • 有效提升检索和生成的财务报告分块

    通过使用基于文档结构的元素类型作为切块依据，我们提出了一种扩展的文档切块方法，以获得最佳切块大小，进而改善 Retrieval Augmented Generation (RAG) 的性能。该研究还深入分析了不同元素类型在信息检索中的作用，并讨论了它们对 RAG 结果质量的影响。

    Feb, 2024

  • 基于原子单元的企业 RAG 的问题检索

    通过将文档切分成原子语句并生成与原子语句相关的合成问题，本研究实现了在企业级检索增强生成中更准确的检索召回，并观察到使用原子语句检索和合成问题检索能够提高检索步骤的召回率，从而提高企业级大型语言模型的性能。

    May, 2024

  • 基于 RAG 的金融文件问答模型检索性能改进

    通过改进文本检索过程，本文探讨了 RAG 管道的现有限制并引入了提升文本检索的方法，包括先进的文本切块技术、查询扩展、元数据注释的应用、重新排序算法以及嵌入算法的微调。通过实施这些方法可以大幅提高检索质量，从而提升 LLM 在处理和响应查询时的整体效果和可靠性。

    Mar, 2024

  • 学习上下文过滤以增强检索辅助生成

    提出了 FILCO 方法，通过词汇和信息论方法识别有用的上下文，并训练上下文过滤模型以改善生成模型的质量，从而在提取式问答、复杂多跳和长篇问答、事实验证和对话生成任务上优于现有方法。

    Nov, 2023

  • 通过稀疏上下文选择加速检索辅助生成的推理

    通过引入稀疏技术，Sparse RAG 提出了一种新颖的范式，在提高生成质量的同时减少计算成本，通过并行编码检索文档并选择性地解码输出，既降低了延迟，又提升了模型的焦点和生成质量。

    May, 2024

  • 并非所有语境平等：教授 LLMs 信任感感知生成

    本研究提出了一个通用的 CAG 框架，旨在减轻 RAG 模型中引入的错误信息对生成结果的影响。通过创新的数据转换框架生成基于可靠性的数据，使模型具备辨别和处理信息可靠性的能力。实验证明，该模型在生成中能够有效理解和利用可靠性，显著优于其他带有检索增强的模型，并对噪声文档引起的干扰表现出韧性，从而保持稳健的性能。此外，该模型支持定制的可靠性，有广泛的潜在应用。

    Apr, 2024

  • 多重评论融合上下文

    本研究提出了一种模块化的方法，用于在多文档环境中生成包含目标信息的连贯文本，为进一步探索模块化文本生成提供了基础，提高了生成内容的质量和可靠性。

    Mar, 2024

  • RA-ISF: 通过迭代自反馈从检索增强学习答案和理解

    我们提出了一种迭代检索增强自我反馈 (RA-ISF) 框架，该框架将任务迭代分解并在三个子模块中处理，以增强模型的解决问题的能力。实验证明，我们的方法优于现有的基准，在像 GPT3.5、Llama2 这样的模型上表现良好，显著增强事实推理能力并减少虚幻现象。

    Mar, 2024

  • 聚类检索增强生成（CRAG）

    提供外部知识给大规模语言模型是实际应用中的关键点之一，为了融入实时的内容、提供特定领域知识以及预防生成虚构内容。通过数据库向量检索增强生成（RAG）方法已经被广泛采用，然而在某些应用中，使用 RAG 方法可能不可行，因为所检索的上下文可能需要比 LLM 支持的上下文窗口更长。为了解决这个问题，我们提出了一种名为 CRAG 的新方法，能够有效减少提示词数量，而不会降低生成的响应质量与使用 RAG 的解决方案相比。通过实验证明，与 RAG 相比，CRAG 方法可以至少减少 46% 的词数量，在某些情况下甚至能达到 90% 以上。此外，与 RAG 相比，CRAG 的词数在分析评论数增加时不会显著增加，当评论数从 4 个增加到 75 个时，RAG 的词数几乎增加了 9 倍。

    May, 2024

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024