探索图像问答模型和数据
本论文提出一种基于视觉问答的方法来查询深度学习模型的行为,通过在多个医学和自然图像数据集上进行实验,证明该方法较目前方法具有相同或更高的准确度,有效地解决了深度学习方法缺乏透明性的问题。
Mar, 2020
通过物体级别的 grounding,在图像中建立了文本描述与图像区域的语义联系,提出了一种新型维度的视觉问答任务,并使用多个基线模型和带有空间注意力机制的 LSTM 模型来解决该任务。
Nov, 2015
本文提出使用卷积神经网络 (CNN) 解决图像问答 (QA) 问题,通过三个 CNN 模型来提升图像和问题共同表示的分类能力。经过 DAQUAR 和 COCO-QA 两个基准测试集的测试,本文的模型表现显著优于现有的最优解。
Jun, 2015
利用图像表示和自然语言处理的最新进展,我们提出了一种端到端形式的 Neural-Image-QA 解决方案来回答真实世界图像上的问题,我们面临一个多模态问题,其中语言输出(答案)是基于视觉和自然语言输入(图像和问题)的,我们的方法可以使已有研究成果的表现效果成倍增加,并提供了关于该问题的额外见解,包括研究人类共识的两个新指标并扩展了初始数据集到 DAQUAR-Consensus。
May, 2015
提出了一种结合图像内容的内部表示和来自广义知识库提取的信息以回答广泛的基于图像的问题的视觉问答方法,可回答自然语言提出的关于图像内容以外信息的问题,显示在 Toronto COCO-QA 和 MS COCO-VQA 数据集上获得最佳结果。
Nov, 2015
本篇综述介绍了视觉问答(VQA)任务,包括基于自然语言描述的图像识别以及机器学习模型的研究,主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。
Aug, 2019
该论文探讨使用引导反向传播和遮挡等可视化技术,解释视觉问答(VQA)模型的工作过程,并发现即使没有显式注意机制,VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。
Aug, 2016
研究使用深度学习框架解决视觉问答任务的方法,探索 LSTM 网络和 VGG-16、K-CNN 卷积神经网络提取图像特征,将其与问题的词嵌入或句子嵌入相结合进行答案预测。在 Visual Question Answering Challenge 2016 中获得了 53.62%的准确率。
Oct, 2016
本研究探讨了一种新的方法来创建先进的视觉问答(VQA)模型,可以在时间泛化上产生成功的结果。通过利用来自 VQAv2 和 MS-COCO 数据集的图像和标题,通过稳定扩散生成新图像。使用这个增强的数据集来测试七个基线和最新的 VQA 模型的组合。该研究的目的是调查几个成功的 VQA 模型的稳健性,评估它们对未来数据分布的性能。分析模型架构,识别改进时间分布偏移下的泛化能力的常见风格选择。这项研究突出了创建大规模未来偏移数据集的重要性,这些数据可以增强 VQA 模型的稳健性,使其未来的同行能够更好地适应时间分布的变化。
Jul, 2023