CVPRJul, 2020

多模态视频问答的情感转移注意力网络

PDF
TL;DR该论文提出了一种称为模态转移关注网络的模型解决多模式视频问答任务，该模型对任务进行任务分解并使用时间提议网络和异构推理网络进行处理，通过模态转移进行任务的执行，这种模型在 TVQA 基准数据集上的实验结果表明它优于之前的最优性能，达到 71.13％的测试准确率，并开展了广泛的消融研究和定性分析以验证网络的各个组件。
modality shifting attention networkmultimodal video question answeringtemporal moment localizationheterogeneous reasoning networkmodality importance modulation
发现论文，激发创造
  • 异构内存增强的多模态注意力模型用于视频问答

    本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，包含三个主要组成部分：新的异构内存、重设计的问题内存和新的多模式融合层，其通过自我更新的注意力实现多步推理并关注相关的视觉和文本线索来推断正确答案，实验结果表明该方法在四个 VideoQA 基准数据集上实现了最先进的性能。

    Apr, 2019

  • 基于多视角注意力网络的视觉对话

    论文旨在通过提出 Multi-View Attention Network (MVAN) 模型来解决视觉对话任务中的挑战性问题，该模型基于注意机制，利用多个视角来处理异构输入，并且通过序列对齐过程构建多模态表示，从而可以更好地捕捉到对话历史中与问题相关的信息，并在 VisDial v1.0 数据集上达到了最佳结果。

    Apr, 2020

  • 模块化混合注意力网络用于视频问答

    多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。

    Nov, 2023

  • 视频故事问答的多模态双重关注记忆

    本研究提出一种视频故事问答架构，名为 Multimodal Dual Attention Memory （MDAM）。使用双重注意机制，结合自我注意力和注意力机制在场景帧和字幕中学习潜在的概念，并在双重注意力处理后执行多模态融合，从而学习从整个视频内容的抽象中推断出高级视觉语言联合表示。在 PororoQA 和 MovieQA 数据集上，该模型均取得了新的最优结果，并通过消融研究验证了双重注意机制与后期融合的最佳性能。

    Sep, 2018

  • 电影故事问答的渐进式注意力记忆网络

    本文提出了一种用于电影故事问答的渐进式注意力记忆网络 (PAMN)，通过使用渐进式注意力机制、动态模态融合和置信度校正回答方案来解决电影故事问答中的难题，实现了在公开基准数据集 MovieQA 和 TVQA 上的最佳结果。

    Apr, 2019

  • 多尺度采样的分层多级网络用于视频问答

    本研究提出了一种新的多级分层网络（MHN），结合多重时间尺度和深度学习模型的多层次处理能力，通过 Multiscale Sampling 实现逐层交互式的表示学习，从而实现视频问题回答中的视觉推理。

    May, 2022

  • 出门看前方：基于运动和外观相互协作的视频问答网络

    本文提出了基于运动和外貌信息的交叉模态特征嵌入的 MASN 网络用于视频问答任务，通过问题导向的融合实现了最新的表现，并在 TGIF-QA 和 MSVD-QA 上实现了新的最佳性能。

    Jun, 2021

  • 用于图像问答的叠加注意力网络

    本文提出了堆叠式注意力网络（SAN），通过自然语言问题分析图像，发现图像问答需要多层推理，于是我们开发了多层 SAN，通过可视化的注意力层，逐层推理以定位答案相关的视觉线索，实验证明 SAN 明显优于先前的最先进方法。

    Nov, 2015

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • 基于查询的跨模态和自我模态图注意力网络的时刻定位

    提出了一种基于查询的时刻定位新任务，使用交叉和自我模态图注意力网络 (CSMGAN)，通过联合图遍历的迭代消息传递过程将最佳匹配段定位在未裁剪的视频中，描述了跨模态交互图 (CMG) 和自模态关系图 (SMG) 的关系，并通过多层联合图来捕捉两种模态之间的高阶交互，提高了定位的精度。

    Aug, 2020