基于预训练模型的模块化零样本视觉问答

ACLMay, 2023

基于预训练模型的模块化零样本视觉问答

Modularized Zero-shot VQA with Pre-trained Models

Rui Cao, Jing Jiang

TL;DR本文探讨如何利用预训练模型来支持零样本视觉问答，通过模块化的零样本网络将问题分解成子理性步骤，并将子任务分配给适当的预训练模型以实现更好的可解释性。实验表明，我们的方法比其他基线方法更具有效性和可解释性。

Abstract

Large-scale pre-trained models (PTMs) show great zero-shot capabilities. In this paper, we study how to leverage them for zero-shot visual question answering (VQA). Our approach is motivated by a few observations. First, VQA questions often require multiple steps of reasoning, which is

pre-trained models zero-shot visual question answering reasoning chains modularized zero-shot network interpretable

发现论文，激发创造

Plug-and-Play VQA: 使用预训练模型进行零训练的零样例 VQA

提出了一种基于模块化框架的零样本视觉问答方法，使用自然语言和网络解释作为中间表示来连接预训练模型，无需额外训练预训练语言模型，实现了领先于最新端到端训练基线的全面表现，可在零样本 VQAv2 和 GQA 上实现最优结果。

Oct, 2022

零样本视觉问答

本文提出了一种评估 VQA 方法能力的新协议，该方法旨在衡量其执行零摄影技术需求 (Zero-Shot VQA) 的能力，并在此过程中凸显了当前方法的一些实际缺陷，其中一些缺陷被当前数据集中的偏见掩盖。通过在预训练单词嵌入和物体分类器等方面进行实验，我们提出并评估了多种实现零摄影技术需求的策略，并在标准 VQA 评估设置中实现了最先进的性能。

Nov, 2016

MoReVQA: 探索视频问答的模块化推理模型

通过分解为多阶段的模块化推理框架来解决视频问答（videoQA）任务，我们的方法 MoReVQA 通过事件解析器、定位阶段、最终推理阶段和外部存储器在标准视频问答基准测试中取得了最先进的结果，并在相关任务（基于视频的问答、段落字幕生成）上得到扩展。

Apr, 2024

探索零样本视觉问答的问题分解

通过研究和应用视觉 - 语言模型，本文提出了问题分解策略和模型驱动的选择性分解方法，以提高视觉问答任务的准确性和性能。

Oct, 2023

通过大型语言模型和推理问题提示改进零样本视觉问答

通过生成推理问题提示，为零样本情景中的大型语言模型在零样本视觉问答任务中的问题回答问题选择和生成保持完整性、语义合理性和句法不变性，从而显著提高了大型语言模型在零样本情景中的性能。

Nov, 2023

基于零样本知识生成的基于知识的视觉问答

基于预训练语言模型的知识生成方法在知识型视觉问答方面表现优于以往零样本方法，生成的知识普遍相关且有帮助。

Feb, 2024

实现统一的多模态推理框架

利用链式思维和视觉问答技术，通过评估文本嵌入方法和视觉嵌入方法的有效性，研究如何提高深度学习模型在解决多项选择问题方面的准确性，实验结果显示这些方法在增强推理和问答能力方面具有潜力。

Dec, 2023

Socratic 模型：用语言组成零样本多模态推理

本文提出了 Socratic Models（SM）框架，该框架可用于将多个大型预训练模型组合为一体，以实现对多模式数据的交换和新的多模式应用成果。

Apr, 2022

PTM-VQA: 从各个方面利用多样化的预训练模型来进行高效视频质量评估

本文介绍了一种名为 PTM-VQA 的视频质量评估方法，利用预训练模型从不同方面为 VQA 带来益处，并提出了 ICID 损失和有效的候选模型选择方案，实验证明了该方法的有效性。

May, 2024

多模态理性混合：视觉问题回答的多模式推理混合

提出了一种名为 “Mixture of Rationales (MoR)” 的新型多模态推理方法，通过混合多个推理证据来解决零样本视觉问答问题，并结合 “Vision-and-Language Pre-trained Models (VLPM)” 使用冻结模型来动态生成、检索和融合多模态想法，在 NLVR2 和 OKVQA 两个具有挑战性的 VQA 数据集上取得了较大的准确率提升。

Jun, 2024