结合多种线索的视觉 Madlibs 问题回答

Nov, 2016

结合多种线索的视觉 Madlibs 问题回答

Combining Multiple Cues for Visual Madlibs Question Answering

Tatiana Tommasi, Arun Mallya, Bryan Plummer, Svetlana Lazebnik, Alexander C. Berg...

TL;DR本论文提出一种从视觉 Madlibs 数据集回答填空多项选择题的方法，通过使用针对特定任务训练的网络的组合，结合特征提取的空间支持，将每个特征与候选答案映射到联合嵌入空间并解决优化问题，以学习组合来自多个提示的 CCA 模型的分数以选择最佳答案。实验结果表明，与现有技术相比，本方法取得了显著的改进，且在处理各种问题类型时，使用各种图像提示并仔细选择特征提取的空间支持有益。

Abstract

This paper presents an approach for answering fill-in-the-blank multiple choice questions from the visual madlibs dataset. Instead of generic and commonly used representations trained on the ImageNet classification task, our approach employs a combination of networks trained for specia

visual madlibs dataset scene recognition person activity classification attribute prediction normalized canonical correlation analysis

发现论文，激发创造

视觉 Madlibs: 填空图像生成和问答

本文介绍了一个包含 360,001 个自然语言描述的新数据集，名为 “Visual Madlibs dataset”，该数据集是通过自动产生的填空模板收集关于人和物体、外貌、活动和互动以及整体场景推理的有针对性的描述。本文提供了有关该数据集的多个分析，展示了它在生成有针对性的描述和对图像进行多选题目、回答方面的应用，采用联合嵌入和深度学习方法进行实验的结果表现良好。

May, 2015

基于记忆增强的多线索推理的知识驱动视觉问答

通过生成多个线索进行推理的记忆神经网络 (MCR-MemNN) 作为一种全新的框架用于视觉问答，可以更好地利用外部知识来回答更一般性的问题，并且在各模态（图像、问题和知识库）中捕捉到最相关的信息。

Dec, 2023

迁移学习行为与人 - 物交互问题解答模型

本文提出了一种利用局部和全局上下文的深度卷积神经网络模型来预测静态图像中的人类活动标签，实现了对两个数据集上数百个标签的最先进性能。我们使用多实例学习来处理缺乏对单个人实例级别的监督的情况，并使用加权损失来处理不平衡的训练数据。此外，我们展示了如何利用这些数据集训练的专业特征来提高视觉问答任务（Visual Question Answering）的准确性，并取得了对人活动和人 - 物关系两种问题的改进。

Apr, 2016

通过附带关键音频 - 视觉线索的文本回答多样化问题

音视频问答（AVQA）需要参考视频内容和听觉信息，然后将问题相关联以预测最精确的答案。本文提出了一种进行互相关蒸馏（MCD）的框架，以帮助问题推理。通过增强音视频软关联、知识蒸馏和解耦音视频依赖等步骤，我们的方法在多个问答数据集上展现出优于其他方法的表现，有趣的发现是，在推理过程中去除深度音视频特征可以有效减轻过拟合问题。

Mar, 2024

重访视觉问答基线模型

本文提出了一种基于二元分类的简单替代模型来解决视觉问答中的一些问题，并通过在 Visual7W Telling 和 VQA Real Multiple Choice 任务上的实验表明该模型的简单版本同样具有竞争力，同时，作者发现现有的视觉问答系统性能的瓶颈可能在于其对问题及答案中基础概念的不足认知，其表现相对于充分利用数据集偏见的系统并没有显著提升。

Jun, 2016

基于外部知识的自由形式视觉问答

提出了一种结合图像内容的内部表示和来自广义知识库提取的信息以回答广泛的基于图像的问题的视觉问答方法，可回答自然语言提出的关于图像内容以外信息的问题，显示在 Toronto COCO-QA 和 MS COCO-VQA 数据集上获得最佳结果。

Nov, 2015

Mean Box Pooling: 一种用于视觉 Madlibs 任务的丰富图像表示和输出嵌入

我们提出了 Mean Box Pooling，这是一种新颖的视觉表示方法，可以对大量高度重叠的对象提议的 CNN 表示进行汇总。我们展示了这样的表示方法结合 nCCA，一种成功的多模态嵌入技术，在 Visual Madlibs 任务上实现了最先进的性能。此外，受到 nCCA 目标函数的启发，我们扩展了经典的 CNN + LSTM 方法，通过直接最大化深度学习架构的内部表示与候选答案之间的相似性来训练网络。再次，这种方法相对于 Visual Madlibs 上使用 CNN + LSTM 方法的先前工作实现了显着的改进。

Aug, 2016

多模态图神经网络用于视觉场景联合推理

利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

Mar, 2020

利用视觉问答进行图像字幕排名

本研究将视觉问题回答任务视为 “特征提取” 模块，提取图像和标题的表征，以此为基础对图像 - 标题进行排序并提出融合模型提高图像 - 标题匹配一致性的表现。实验发现，该模型在 MSCOCO 数据集上的字幕检索提高了 7.1％，图像提取提高了 4.4％。

May, 2016

基于属性和外部知识的图像字幕和视觉问答

本文提出了在成功的卷积神经网络 - 循环神经网络方法中加入高级概念的方法，并证明其在图像字幕和视觉问答中取得了显著的改进。该机制还可用于合并外部知识，特别是允许在图像中回答有关内容的问题，即使图像本身不能提供完整答案。

Mar, 2016