Mar, 2023

检索增强生成的多模态信息：一项调查

PDF
TL;DR本文综述了检索多模态知识以辅助和增强生成模型的方法，并提供了对从外部来源（包括图像、代码、表格、图形和音频）检索根据的关注点的深入探讨，包括事实性、推理、可解释性和鲁棒性。
multimodal learninggenerative airetrieval augmentationgrounding contextsexternal sources
发现论文，激发创造
  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 多模式检索增强生成式常识推理

    提出了一种新颖的多模式检索 (MORE) 增强框架，利用文本和图像来增强语言模型的常识能力。在 Common-Gen 任务上的大量实验表明，MORE 基于单一和多模态的预训练模型具有较高的效果。

    Feb, 2024

  • 检索增强型文本生成调查

    本文概述了检索增强型文本生成的一般范式，为了实现未来的研究，回顾了不同任务中值得注意的方法，包括对话响应生成，机器翻译和其他生成任务，并指出一些关键方向。

    Feb, 2022

  • MuRAG: 图像和文本开放式问答的多模式检索增强生成器

    MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

    Oct, 2022

  • 通过结构化知识和统一的检索生成增强多模式和多跳问题回答

    提出了一种基于结构化知识和统一检索生成的方法（SKURG）来回答多模态和多跳问题，包括模态对齐，统一检索生成和中间检索结果的集成。该方法在两个数据集上均取得了最先进的效果。

    Dec, 2022

  • LLMs 满足多模态生成和编辑的综述

    多模态生成技术的调查，介绍了不同领域中的重要进展，包括图像、视频、3D 和音频，研究了方法和数据集，还提出了使用现有生成模型进行人机交互的工具增强型多模态代理，同时探讨了人工智能安全问题和新兴应用及未来前景。

    May, 2024

  • 检索遇见推理：即使高中教科书知识也有益于多模态推理

    通过引入一种名为 RMR 的新型多模式 RAG 框架，本研究在多模式视觉语言模型中整合了基于检索的答案生成和推理能力，并通过提供相关问答对进行训练来显著提高各种基准数据集上的性能，凸显该框架在改善视觉语言模型的推理能力方面潜力巨大。

    May, 2024

  • SK-VQA：用于训练上下文增强的多模态 LLM 的大规模合成知识生成

    我们生成了一个包含超过 200 万个问题 - 答案对的大型综合多模态数据集 SK-VQA，该数据集需要外部知识来确定最终答案。通过广泛的实验，我们证明我们的合成数据集不仅可以作为一个具有挑战性的基准测试，而且对于调整现有的生成性多模态模型以进行上下文增强生成也非常有效。

    Jun, 2024

  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023