visual question answering | BriefGPT

关键词visual question answering

搜索结果 - 459

实现统一的多模态推理框架
利用链式思维和视觉问答技术，通过评估文本嵌入方法和视觉嵌入方法的有效性，研究如何提高深度学习模型在解决多项选择问题方面的准确性，实验结果显示这些方法在增强推理和问答能力方面具有潜力。
PDF6 months ago
AAAI视觉问答中的物体属性重要性
提出了一种基于物体属性利用的视觉问答方法，旨在实现更好的物体级视觉 - 语言对齐和多模态场景理解。通过属性融合模块和对比知识蒸馏模块，构建多模态图神经网络，融合属性和视觉特征，改善细粒度问题的解决和多模态场景的理解，从而提高模型的鲁棒性。通
PDF7 months ago
基于记忆增强的多线索推理的知识驱动视觉问答
通过生成多个线索进行推理的记忆神经网络 (MCR-MemNN) 作为一种全新的框架用于视觉问答，可以更好地利用外部知识来回答更一般性的问题，并且在各模态（图像、问题和知识库）中捕捉到最相关的信息。
PDF7 months ago
VQA4CIR：用视觉问答提升组合图像检索
通过使用视觉问答技术来解决复合图像检索中的不一致性问题，提出了 VQA4CIR 方法，该方法能够显著提高检索性能，实验证明其优于目前的 CIR 方法。
PDF7 months ago
AAAI基于因果推理的图像内容生成
ChatGPT 的出现再次引发了人工智能生成的研究，而此次研究聚焦于 ChatGPT 在语言生成领域的因果推理能力，提出了一种称为 Visual Question Answering with Image（VQAI）的图像生成任务，并基于经
PDF7 months ago
NuScenes-MQA：使用标记注释集成评估自动驾驶数据集的标题和问答
在自动驾驶中，视觉问答（VQA）是最重要的任务之一，要求准确的识别和复杂情况评估。本研究介绍了一种新型数据集标注技术 Markup-QA，其中问题回答被包含在标记中，该方法有助于同时评估模型在语句生成和 VQA 方面的能力。此外，通过使用这
PDF7 months ago
Causal-CoG: 基于因果效应的上下文生成对多模态语言模型的提升
我们提出了一种从上下文信息的角度解决多模态语言模型在视觉问答任务中难以提供准确和精确回答的挑战的方法：因果上下文生成策略（Causal-CoG）。我们通过提示多模态语言模型生成上下文，即图像的文本描述，并利用生成的上下文进行问题回答，同时从
PDF7 months ago
释放大型语言模型的潜力：洪水灾害场景下的无监督视觉问答（Zero-shot VQA）
基于大规模语言模型 CoT 链条提示的零样本 VQA 模型，通过构建 FFD-IQA 评估数据集，对洪水灾害进行损坏评估，并在复杂问题回答中展现了更好的性能。
PDF7 months ago
如何建立适合上下文内的序列用于视觉问答
大型视觉语言模型通过上下文学习在自然语言处理中取得成功后，研究人员开发了具有上下文学习能力的大型视觉语言模型（LVLMs）。然而，在使用 LVLMs 实现上下文学习时，研究人员通常采用最简单的方式，如随机抽样来配置上下文序列，从而导致结果不
PDF7 months ago
走向自顶向下推理：可解释的多代理视觉问答方法
本论文提出了一个可解释的多智能体协作框架，通过利用在广泛语料库上训练的大型语言模型中嵌入的知识，以人类认知为灵感，使用三个智能体，即探索者、回答者和整合者，进行自顶向下推理过程，从而明确地构建特定图像场景的多视图知识库，以自顶向下的处理方式
PDF7 months ago
来自在线社区的完整真实视觉问答数据集
VQAonline 是第一个所有内容都来源于真实用例的 VQA 数据集，该数据集中的答案往往较长，并且不适用于标准的 VQA 评估指标；研究发现，在长文本评估方面，六个流行的度量标准与人工判断相符度最高；使用最适合的度量标准评估六个最先进的
PDF7 months ago
属性多样性决定了 VQA 中的系统性差距
通过研究视觉问答中的系统性差异，我们发现神经网络在泛化到新的熟悉概念组合时的表现差异。尽管训练数据的数量增加并不能减小系统性差距，但训练数据中未见组合的属性多样性可以减小系统性差距。因此，我们的实验证明，在训练过程中看到更多不同的属性类型组
PDF8 months ago
针对基于语境的检索提问更多信息
在交互式环境中，为了获得更多信息，我们提出了一种能够提出更具信息性的开放式问题的方法，并发现现有的视觉问答模型经常产生预设错误。为了解决这个问题，我们提出了一种方法，在问题选择和信念更新中加入了预设处理的两阶段过程，通过自我对战和人类评估，
PDF8 months ago
对基于知识的视觉问答模型 GPT-4V 的全面评估
通过从三个角度对 GPT-4V 进行深入评估，即常识知识、细粒度世界知识和具有决策理由的综合知识，我们发现 GPT-4V 在这三项任务上均取得了最好的性能，并且在使用复合图像进行少样本学习时具有增强的推理和解释能力，但在处理世界知识时可能导
PDF8 months ago
基于深度学习的视觉 - 语言任务统一框架
通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，我们的 InfMLLM 方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。
PDF8 months ago
基于视觉常识的异构图对比学习
本研究通过引入视觉常识信息和提出异构图对比学习方法，改善视觉推理任务，使模型更专注于具有辨别力的对象和相关的视觉常识属性，并通过图关系网络推理同质边之间的关联和异质边之间的相似性，从而提高了模型的信息传输效果。在四个基准测试上的广泛实验表明
PDF8 months ago
VQA 模型中的注意力模式零 - shot 翻译为自然语言
ZS-A2T 是一个零射击框架，将给定模型的转换器注意力转换为自然语言而无需任何训练，以可理解形式提供关于该模型的见解。它在视觉问答（VQA）的上下文中构建在预训练的大型语言模型上，并通过利用 VQA 模型的文本 - 图像匹配能力来确定其相
PDF8 months ago
探索面向 VQA 的 GPT-4V 在零样本异常检测中的接地潜力
GPT-4V-AD, a VQA-oriented framework utilizing the Large Multimodal Model (LMM) GPT-4V, shows promise in the zero-shot An
PDF8 months ago
VQA-GEN: 一个面向领域泛化的视觉问答基准
视觉问题回答（VQA）模型旨在展示视觉和文本推理能力，然而，由于缺乏综合的基准数据集，它们在实际应用中受到了限制。我们提出了 VQA-GEN，这是第一个通过引入转换流程生成的多模态基准数据集，用于评估 VQA 在视觉和文本领域的转换能力。实
PDF8 months ago
从图像到语言：对视觉问答（VQA）方法、挑战和机遇的关键分析
通过调查 Visual Question Answering（视觉问题回答）领域的复杂性，本研究提供了对 VQA 数据集和方法的详细分类，展示了该领域的最新趋势、挑战和改进方向，并将 VQA 推广到多模态问答，探索与 VQA 相关的任务，并
PDF8 months ago