May, 2024

RaFe：排名反馈改善了 RAG 的查询重写

PDF
TL;DR利用强化学习和公开可用的 reranker 训练的无需注释的查询重写模型，在提升性能方面优于传统方法。
large language modelsretrieval augmentation generationquery rewritingreinforcement learningdownstream tasks
发现论文，激发创造
  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • 大规模语言模型的无监督信息精炼训练用于检索增强生成

    提出了一种名为 InFO-RAG 的信息优化训练方法，通过优化大语言模型在检索增强生成中的作用，实现了对输入的检索文本进行信息精简，提高了生成的文本的准确性、完整性和简洁性，相对于 LLaMA2 平均提升 9.39% 的性能，并展现了在上下文学习和鲁棒性方面的优势。

    Feb, 2024

  • 通过自学使大型语言模型能够建立知识检索索引器

    该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

    May, 2024

  • 优化领域聊天机器人的 RAG 强化学习

    通过采用基于 RAG 的 RL 优化方法，使用信息熵损失函数构建了一个使用 FAQ 数据回答用户查询的聊天机器人，该模型在检索准确性和领域外查询检测方面表现显著优于通用公开嵌入模型，同时能实现成本节省和细微的准确性改善。

    Jan, 2024

  • RichRAG：在检索增强生成中为多方面查询创建丰富的回复

    为了解决用户在发出宽泛、开放式的查询时得到丰富的、多方面的回复的问题，我们提出了一种新颖的检索增强生成框架 ——RichRAG。该框架包括一个子方面探索器，用于识别问题中的潜在子方面；一个多方面检索器，用于构建与这些子方面相关的多样化外部文档的候选池；以及一个生成型列表排序器，它是为最终生成器提供前 k 个最有价值的文档的关键模块。经过实验证明，我们的框架能够有效、高效地为用户提供全面且满意的回复。

    Jun, 2024

  • 基于 RAG 的金融文件问答模型检索性能改进

    通过改进文本检索过程，本文探讨了 RAG 管道的现有限制并引入了提升文本检索的方法，包括先进的文本切块技术、查询扩展、元数据注释的应用、重新排序算法以及嵌入算法的微调。通过实施这些方法可以大幅提高检索质量，从而提升 LLM 在处理和响应查询时的整体效果和可靠性。

    Mar, 2024

  • 检索增强大型语言模型的查询重写

    该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

    May, 2023

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 优化零样本 LLM 重排序器的风险最小化

    利用贝叶斯决策理论提出的 UR^3 框架有效地改进了 Retrieval-Augmented Generation 系统的 Top-1 准确率，通过最大化文档生成的概率在统一的风险最小化目标下优化查询和文档生成概率。

    Jun, 2024

  • 不要忘记连接！使用基于图的再排序提升 RAG

    G-RAG is a graph neural network-based reranker that combines connections between documents and semantic information to improve the performance of Large Language Model-based Retrieval Augmented Generation (RAG) systems.

    May, 2024