ICCVAug, 2017

多模式因式双线性池化与 Co-Attention 学习在视觉问答中的应用

PDF
TL;DR开发了一个多模式因式双线性池化（MFB）方法，通过 MFB 方法的融合和对视觉和文本信息的细粒度表示，结合协同注意力机制，在视觉问题回答中达到了最先进的成果。
visual question answeringmulti-modal feature fusionbilinear poolingco-attention mechanismstate-of-the-art performance
发现论文，激发创造
  • 超越双线性：面向视觉问答的广义多模态分解高阶池化

    本文利用深度神经网络中的协同注意机制与通用的多模式高阶因式化池化方法实现多模态特征的融合，使用 KL（Kullback-Leibler）散度作为损失函数，最终实现了优越的视觉问答表现。

    Aug, 2017

  • 多模态紧凑双线性池化用于视觉问答和视觉定位

    本文探讨了利用从大型语言或视觉数据集训练得到的向量表示来建模文本或视觉信息，提出并评价了 Multimodal Compact Bilinear pooling (MCB) 的表现优于传统的多模态平均池化方法，并通过在视觉问答和定位任务中应用，佐证出 MCB 的有效性和高表达性。

    Jun, 2016

  • 多模态紧凑双线性池化用于多模态神经机器翻译

    本文探讨了在多模态翻译中使用复合双线性池化方法的效果，通过将两种注意力特征进行外积组合，相比于基本的组合方法，其对于图像字幕翻译的表现有所提升。

    Mar, 2017

  • Mucko: 基于事实的视觉问答的多层交叉模态知识推理

    本文提出了一种多模态异构图神经网络来解决基于事实的视觉问答问题，该模型通过逐层的图卷积网络对问题相关证据进行迭代式推理，并在多种数据集上获得了最新的最佳成绩。

    Jun, 2020

  • 双线性注意力网络

    本研究提出了一种基于双线性注意力网络的多模态学习方法，通过提取双线性交互特征来优化多模态输入的注意力分布，以提高视觉问题回答（VQA）和 Flickr30k 数据集上的性能表现。

    May, 2018

  • 视觉问答的紧凑三线性交互

    提出了一种新型的三线性交互模型，采用了多模张量分解和知识蒸馏技术，实现了在视觉问答领域中的最先进结果。

    Sep, 2019

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 通过密集对称共同注意力改进视觉与语言表示的融合用于视觉问答

    本文提出了一种基于多步交互和注意力机制的简单且完全对称的网络结构方案，用于解决视觉问答中视觉和语言特征的融合问题，并取得了新的最优结果，而提出的注意力机制也能够生成合理的注意力图从而正确预测答案。

    Apr, 2018

  • 视觉问答的互注意融合

    该研究提出了一种新的注意力机制，同时考虑视觉细节的两个层次，即物体实例和它们的部分，通过高效的张量分解方案，设计了分层融合多模态信息的模型并提高了已有模型达到了一个显著的提升。

    May, 2018

  • 多模态乘积特征嵌入共同关注自由形式区域和检测用于视觉问答

    本篇研究提出了一种基于注意力机制和深度神经网络的视觉问答方法，通过多模态特征嵌入策略，联合关注自由区域和检测框区域，实现更准确的图像问答。在 COCO-QA 和 VQA 数据集上测试，结果表明该方法优于现有方法。

    Nov, 2017