AAAIJun, 2015

使用卷积神经网络从图像中学习答案

PDF
TL;DR本文提出使用卷积神经网络 (CNN) 解决图像问答 (QA) 问题，通过三个 CNN 模型来提升图像和问题共同表示的分类能力。经过 DAQUAR 和 COCO-QA 两个基准测试集的测试，本文的模型表现显著优于现有的最优解。
convolutional neural networkimage question answeringinter-modal interactionsmultimodal convolution layerbenchmark datasets
发现论文，激发创造
  • ABC-CNN: 基于注意力的卷积神经网络用于视觉问答

    本研究提出一种注意力机制的卷积神经网络，可用于解决视觉问答任务，有效提升已有方法的准确率，并生成与问题相关的关注区域。

    Nov, 2015

  • 使用动态参数预测的卷积神经网络进行图像问答

    本研究通过使用卷积神经网络和动态参数层学习来解决图像问答问题，并使用门控循环单元的参数预测网络进行自适应参数预测，进而采用哈希技术降低问题规模。该算法在所有可用的公共图像问答基准测试中取得了最优性能。

    Nov, 2015

  • 深度学习图像问题回答教程

    本教程介绍了一种基于神经网络的方法来回答关于真实世界图像内容的问题，使用 DAQUAR 和 VQA 数据集进行模型演示，并介绍了 Keras 和 Kraino 等深度学习框架，从图像识别方面进行进一步的性能提升。

    Oct, 2016

  • 学习用于视觉问答的稀疏专家混合模型

    本文提出了一种模块化的神经架构，特别针对 VQA 任务中的卷积神经网络模块，通过网络的稀疏性提高了模型的运行效率，实验表明其可与传统的 CNN VQA 模型相媲美。

    Sep, 2019

  • 神经网络的答案序列学习 - 针对社区问答中的答案选择

    该论文提出一种基于循环体系结构的创新方法来解决社区问答中的答案选择问题。该方法首先使用卷积神经网络来学习问题 - 答案对的联合表示，然后将联合表示作为 LSTM 的输入来学习问题的答案序列，以标记每个答案的匹配质量。实验结果表明了我们方法的有效性。

    Jun, 2015

  • 基于属性和外部知识的图像字幕和视觉问答

    本文提出了在成功的卷积神经网络 - 循环神经网络方法中加入高级概念的方法，并证明其在图像字幕和视觉问答中取得了显著的改进。 该机制还可用于合并外部知识，特别是允许在图像中回答有关内容的问题，即使图像本身不能提供完整答案。

    Mar, 2016

  • 问你神经元：基于神经网络的图像问答系统

    利用图像表示和自然语言处理的最新进展，我们提出了一种端到端形式的 Neural-Image-QA 解决方案来回答真实世界图像上的问题，我们面临一个多模态问题，其中语言输出（答案）是基于视觉和自然语言输入（图像和问题）的，我们的方法可以使已有研究成果的表现效果成倍增加，并提供了关于该问题的额外见解，包括研究人类共识的两个新指标并扩展了初始数据集到 DAQUAR-Consensus。

    May, 2015

  • 探究卷积神经网络在端到端问答中的答案选择效果

    本研究使用标准的 TrecQA 数据集检验了卷积神经网络（CNNs）在端到端环境中用于答案选择的有效性，发现优化后的 idf 加权单词重叠算法是一个很强的基线，深度学习在这个数据集上的表现有限，而并不清楚在基于标准检索指标的端到端环境中 CNN 是否比基线更有效。而进行的人工用户评估证实了 CNN 产生的答案比 idf 加权单词重叠更好，这表明用户对答案选择质量的差异非常敏感。

    Jul, 2017

  • 探索图像问答模型和数据

    本研究旨在通过新的模型和数据集解决基于图像的问答问题，使用神经网络和视觉语义嵌入预测有关图像的简单问题的答案，提出了一种将图片描述转化为问答格式的问题生成算法，为新的数据集提供了基线结果。

    May, 2015

  • 开放式视觉问答

    研究使用深度学习框架解决视觉问答任务的方法，探索 LSTM 网络和 VGG-16、K-CNN 卷积神经网络提取图像特征，将其与问题的词嵌入或句子嵌入相结合进行答案预测。在 Visual Question Answering Challenge 2016 中获得了 53.62％的准确率。

    Oct, 2016