Aug, 2018

基于问题引导的混合卷积用于视觉问答

HTML
PDF
TL;DR本文提出了一种新颖的问题引导的混合卷积神经网络架构，解决了在学习多模态特征时通常会放弃视觉空间信息的问题，并通过引入问题引导核对提高了问题与图像之间的关联性，在减少参数大小和缓解过拟合方面应用组卷积以及与现有双线性汇聚融合和基于关注的问答方法相结合，在公共VQA数据集上进行了大量实验并验证了该方法的有效性。
发现论文，激发创造
  • ABC-CNN: 基于注意力的卷积神经网络用于视觉问答

    本研究提出一种注意力机制的卷积神经网络，可用于解决视觉问答任务，有效提升已有方法的准确率，并生成与问题相关的关注区域。

    Nov, 2015

  • 视觉问答: 方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合Visual Genome数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 视觉问答技巧：2017年挑战赛收获

    本文介绍了一个用于视觉问答（VQA）的最先进模型，这个模型在2017年的VQA挑战中获得了第一名。通过对超过3,000个GPU小时的架构和超参数的深入探索，我们发现了许多用于提高性能的Tips and Tricks。我们详细地分析了它们的影响以协助其他人进行适当的选择。

    Aug, 2017

  • 超越双线性：面向视觉问答的广义多模态分解高阶池化

    本文利用深度神经网络中的协同注意机制与通用的多模式高阶因式化池化方法实现多模态特征的融合，使用 KL（Kullback-Leibler）散度作为损失函数，最终实现了优越的视觉问答表现。

    Aug, 2017

  • 将视觉问答作为元学习任务

    本文提出了一种元学习的方法来解决图像问题回答（VQA）问题，并采用了原型网络和元网络两种技术，通过给定的例子来推理解决给定的问题，与现有技术相比，该方法能够产生具有更高罕见回答的召回率和更好的样本效率，是学习和推理基于视觉和语言的方法的重要一步。

    Nov, 2017

  • 视觉问答中的问题类型引导注意力机制

    本文提出了一个名为Question Type-guided Attention (QTA)的方法，利用问题类型信息动态平衡从ResNet和Faster R-CNN网络中分别提取的自下而上和自上而下的视觉特征。在TDIUC数据集上进行了多项输入实验，并显示QTA显著提高了多个问题类型类别的性能，例如“活动识别”、“效用”和“计数”。添加QTA后，我们在最先进的MCB模型上实现了3％的总体准确度提高。最后，我们提出了一个多任务扩展以预测问题类型，在缺少问题类型的应用程序中推广QTA，性能损失最小。

    Apr, 2018

  • 使用深度学习的视觉问答: 调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • 学习用于视觉问答的稀疏专家混合模型

    本文提出了一种模块化的神经架构，特别针对 VQA 任务中的卷积神经网络模块，通过网络的稀疏性提高了模型的运行效率，实验表明其可与传统的 CNN VQA 模型相媲美。

    Sep, 2019

  • 从图像到语言：对视觉问答（VQA）方法、挑战和机遇的关键分析

    通过调查Visual Question Answering（视觉问题回答）领域的复杂性，本研究提供了对VQA数据集和方法的详细分类，展示了该领域的最新趋势、挑战和改进方向，并将VQA推广到多模态问答，探索与VQA相关的任务，并提出了一系列未来研究的开放性问题。

    Nov, 2023

  • 通过基于排名的混合训练与多模态融合增强视觉问答

    本文针对现有视觉问答(VQA)模型在复杂问题上的局限，提出了Rank VQA模型，该模型采用排名启发式的混合训练策略，以提升VQA性能。实验结果表明，Rank VQA在处理需要细致理解和高级推理的复杂问题时，显著优于当前的最先进模型，展示了基于排名的混合训练策略在提高VQA性能方面的有效性。

    Aug, 2024