Oct, 2023

开放域多模式检索问答的逐步证据细化

PDF
TL;DR我们提出了一个基于预训练多模态模型的证据检索和问答的两阶段框架来解决模型面临的两个主要挑战：利用压缩的证据特征会导致丢失细粒度信息以及提取问题关键特征时存在特征提取和问题之间的差距。我们的方法包括渐进证据精炼策略来选择关键证据、半监督对比学习训练策略扩展问题领域范围以及多轮检索和问答策略来处理多模态输入。通过大量实验证明了模型的有效性，在 WebQA 和 MultimodelQA 基准测试上取得了出色的性能。
pre-trained multimodal modelsevidence retrievalquestion-answeringprogressive evidence refinementmulti-turn retrieval
发现论文，激发创造
  • 无监督基于对齐的迭代证据检索用于多跳问答

    本文提出了一种简单、快速和无监督的迭代证据检索方法，包括三个步骤：无监督对齐、迭代查询和停止准则。该方法在两个数据集上取得了最好的效果，证据句子被送入 RoBERTa 回答分类组件，我们在这两个数据集上实现了最先进的问答性能。

    May, 2020

  • 面向生成视觉问答的多模态提示检索

    提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

    Jun, 2023

  • 开放域问答中的答案重新排序的证据聚合

    本文提出了两种新的模型，在公开领域问答数据集中取得了最具竞争力的结果。这两种方法是使用多篇文章生成答案。

    Nov, 2017

  • 多模态查询的端到端知识检索

    本文介绍了一个新的数据集 ReMuQ，针对跨媒体检索的任务，提出了一个直接处理文本和图像输入的 Retriever 模型 `ReViz`，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。

    Jun, 2023

  • 使用远程监督的证据检索，无需证据标记即可实现问答

    本研究探讨使用仅通过回答标签的远程监督来训练模型，从大规模语料库中学习寻找证据的能力，提出了一种新的方法（DistDR），该方法在多跳和单跳问答基准测试中与全监督的最先进方法不相上下。

    Oct, 2021

  • 通过结构化知识和统一的检索生成增强多模式和多跳问题回答

    提出了一种基于结构化知识和统一检索生成的方法（SKURG）来回答多模态和多跳问题，包括模态对齐，统一检索生成和中间检索结果的集成。该方法在两个数据集上均取得了最先进的效果。

    Dec, 2022

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024

  • 细粒度迟期交互多模态检索用于检索增强视觉问答

    Fine-grained Late-interaction Multi-modal Retrieval (FLMR) significantly improves knowledge retrieval in Retrieval-Augmented Visual Question Answering (RA-VQA) by addressing limitations in the retriever and achieving approximately 8% improvement in PRRecall@5. Equipped with state-of-the-art models, RA-VQA achieves around 61% VQA score in the OK-VQA dataset.

    Sep, 2023

  • 开放域问答中的补充证据识别

    本篇文章提出了一种新的问题 - 对于开放领域问题回答的补充证据识别，提出了一种基于向量表示的段落筛选方法，考虑了证据间的相关性和多样性， 明显提高了 QA 领域中的补充证据选择准确性。

    Mar, 2021

  • 多模态问题回答的统一信息提取

    利用我们提出的多模态问答（MQA）框架，将多模态信息提取（MIE）任务统一为一个统一的片段提取和多项选择问答流水线，从而提高了各种类型的现成大型多模态模型在 MIE 任务上的性能，特别是在零样本和少样本情况下，我们的框架能够使 LMM 在与 ChatGPT 和 GPT-4 等更大的语言模型竞争或超越的 10B 参数尺度上获得更好的表现，从而将 MQA 框架作为利用 LMMs 解决 MIE 和其他下游多模态任务的一般原则。

    Oct, 2023