May, 2024

检索遇见推理：即使高中教科书知识也有益于多模态推理

PDF
TL;DR通过引入一种名为 RMR 的新型多模式 RAG 框架，本研究在多模式视觉语言模型中整合了基于检索的答案生成和推理能力，并通过提供相关问答对进行训练来显著提高各种基准数据集上的性能，凸显该框架在改善视觉语言模型的推理能力方面潜力巨大。
large language modelsretrieval-augmented generationmultimodal ragrmr frameworkvision-language models
发现论文，激发创造
  • MuRAG: 图像和文本开放式问答的多模式检索增强生成器

    MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

    Oct, 2022

  • RAVEN：多任务检索增强视觉 - 语言学习

    该论文介绍了 RAVEN，一个多任务的检索增强视觉语言模型框架，通过有效的任务特定微调，无需额外的检索特定参数，该模型获得了在多个任务中都有效的检索能力，对图像字幕和 VQA 任务的广泛实验结果表明，与非检索基准线相比，在 MSCOCO 上提高了 + 1 CIDEr，在 NoCaps 上提高了 + 4 CIDEr，在特定的 VQA 问题类型上提高了近 3％的准确率，这表明了将 RAG 方法应用于视觉语言模型的有效性，标志着朝着更高效和可访问的多模态学习迈进。

    Jun, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 在检索增强生成中寻找最佳实践

    通过研究现有的 RAG 方法及其潜在组合，我们提出了几种既能兼顾性能又能提高效率的 RAG 策略，并证明多模态检索技术能显著增强对视觉输入的问答能力，并使用 “检索即生成” 策略加速多模态内容的生成。

    Jul, 2024

  • 元认知检索增强的大型语言模型

    MetaRAG 通过将检索增强生成过程与元认知相结合，使模型能够监控、评估和规划其响应策略，提升其内省性推理能力，从而显著优于现有方法。

    Feb, 2024

  • 知识密集检索增强生成中的多视图洞见

    该论文介绍了一种针对知识密集领域的新型多视图 RAG 框架 (MVRAG)，利用多个领域视角的意图感知查询重写来增强检索精度，从而提高最终推理的有效性。在法律和医学案例检索上进行的实验证明，我们的框架在召回率和精确率方面取得了显著改善。我们的多角度检索方法释放了多视图信息增强 RAG 任务的潜力，加速了 LLMs 在知识密集领域的进一步应用。

    Apr, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 工具呼叫：通过检索增强大型语言模型提升药物咨询

    基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

    Apr, 2024

  • 基于 RAG 的多源检索问答框架

    基于 GPT-3.5 的多源检索框架（MSRAG）实现了检索增强生成技术（RAG）的改进，提高了问答系统的效率和准确性。

    May, 2024

  • IM-RAG: 内心独白学习的多轮检索增强生成

    通过集成 IR 系统与 LLMs 来支持多轮 RAG，提出了一种新的 LLM 中心方法 IM-RAG，优化通过强化学习和监督微调，实现在 HotPotQA 数据集上达到最先进性能的同时提供高度可灵活性的 IR 模块集成和学习的内部独白解释性。

    May, 2024