Jun, 2024

Refiner》: 提高问答能力的检索内容重构方法

HTML
PDF
TL;DR大型语言模型（LLMs）在知识广泛的任务中受到参数知识的限制，从而导致幻觉现象。为了解决这个问题，检索增强生成（RAG）通过引入外部文档片段来扩展LLM的知识。此外，通过提取或总结文档片段中的信息可以改善LLM的性能。然而，LLMs仍然难以察觉和利用分散的关键信息，这被称为“中间丢失”综合症。因此，我们通常需要重构内容以便LLM能够识别关键信息。我们提出了一种名为“Refiner”的端到端提取和重构方法，它在RAG的后检索过程中运行。Refiner利用一个单独的仅解码LLM，根据其相互连通性适应性地提取查询相关内容以及必要上下文，并将它们分割成部分，从而突出信息的区别，并有效地将下游LLMs与原始上下文对齐。实验证明，经过训练的Refiner（具有7B个参数）在提高回答准确性方面对下游LLM有显著的增益，并在各种单跳和多跳QA任务中优于其他最先进的RAG和并发压缩方法。值得注意的是，与最佳解决方案相比，Refiner在多跳任务中实现了80.5％的标记减少和1.6-7.0％的改进边际。Refiner是一种即插即用的解决方案，可以与RAG系统无缝集成，便于在各种开源框架中应用。
发现论文，激发创造
  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • REAR：一种针对开放领域的问题回答的关联感知检索增强框架

    本文提出了REAR，这是一种适用于开放领域问答的关联感知检索增强方法，通过在大型语言模型中引入一个能够准确评估检索文档相关性的排名头，以及通过双粒度相关融合和抗干扰训练的改进方法进行训练，REAR能够更好地利用外部知识并在四个开放领域问答任务中显著优于其他竞争性的RAG方法。

    Feb, 2024

  • 自适应-RAG: 通过问题复杂性学习适应检索增强大型语言模型

    本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

    Mar, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • 提升检索和管理检索：用于RAG系统质量和效率的四模块协同

    通过生成多个查询来克服单一查询的信息平台以及通过重写问题来消除二义性，我们提出了Query Rewriter+来增强Query Rewriter模块，同时通过引入Knowledge Filter模块解决RAG系统中存在的无关知识问题，并且引入Memory Knowledge Reservoir和Retriever Trigger模块解决冗余检索问题，这四个RAG模块通过增强响应质量和效率，经实验证明了其有效性。

    Jul, 2024

  • LongRAG：一种双视角的增强检索生成范式用于长上下文问答

    本研究解决了长上下文问答（LCQA）中现有长上下文大语言模型（LLMs）的“迷失于中间”问题。通过提出LongRAG，这一双视角的增强检索生成系统，提升了对复杂长上下文知识的理解，显著提高了问答准确性。实验表明，LongRAG在多个多跳数据集上显著超越了现有的技术方案，展示了其在长上下文问答中的巨大潜力。

    Oct, 2024

  • Long$^2$RAG: 评估长上下文与长文本检索增强生成的关键点回忆

    本研究针对当前RAG系统评估方法存在的不足，提出了\textsc{Long$^2$RAG}基准和关键点回忆（KPR）指标。该基准包含280个问题，涵盖10个领域，通过评估LLMs从检索文档中提取关键信息并生成长文本响应的能力，显著提升了对LLMs在长上下文检索和长文本生成方面的评估效率。

    Oct, 2024

  • LongRAG：一种双视角检索增强生成范式用于长上下文问答

    该研究解决了长上下文问答（LCQA）中大语言模型（LLM）面临的“中间迷失”问题，提出了一种新的双视角检索增强生成系统（LongRAG）。 LongRAG通过增强模型对复杂知识的理解，显著提升了问答准确性，实验结果表明其在多个数据集上优于现有的长上下文 LLM 和 RAG 技术。

    Oct, 2024

  • 探索大型语言模型的知识边界以提升检索判断能力

    本研究解决了大型语言模型在动态变化的知识和未知静态知识管理中面临的挑战。通过提出知识边界模型（KBM），研究能够区分不同类型的问题，从而有效减少不必要的检索请求，提升模型的整体性能，研究结果显示该方法在动态知识、长尾静态知识和多跳问题等复杂场景中表现优异。

    Nov, 2024

  • 检索增强型大语言模型的参数知识精炼查询优化

    本研究解决了在检索增强生成系统中，预检索信息缺口的问题。我们提出的ERRR框架通过特定知识需求优化查询，确保仅检索生成准确响应所需的最相关信息。评估结果表明，ERRR在各种问答数据集上表现优于现有基准，成为提升RAG系统效用和准确性的有效模块。

    Nov, 2024