MMNov, 2021

MM-Pyramid: 多模塔形注意力网络用于音视频事件定位和视频解析

PDF
TL;DR提出了一种名为 MM-Pyramid 的多模式金字塔式注意力网络，该网络使用注意力特征金字塔模块和语义融合模块，以实现视频中事件的识别和定位。
event recognitionvideo understandingmultimodal perceptionattentive feature pyramidsemantic fusion module
发现论文，激发创造
  • 通过联合注意力的递归融合实现音视频事件定位

    本研究提出了一种新的多模态融合联合注意力机制，能够有效地从视听特征中学习联合表示，并通过递归式联合协同作用持续改进，从而在音视频事件定位任务中取得了明显的成果。

    Aug, 2020

  • 基于注意力的多模态融合视频描述

    本文提出了一种称为多模态注意力的方法，可以针对图像特征、运动特征和音频特征进行选择性关注，以促进视频描述的多模态信息融合，并在 Youtube2Text 数据集上取得了竞争状态 - of-the-art 的结果。

    Jan, 2017

  • 统一的多感知知觉：弱监督的音频 - 视觉视频解析

    本文介绍了音频 - 视觉视频解析的问题，并提出了一个新的混合注意力网络方法和一种自适应 MMIL 池化方法来解决多模态多实例学习问题，以及利用标签平滑技术来减轻模态偏置和嘈杂标签问题。实验结果表明，即使只有视频级弱标签，也可以实现具有挑战性的音频 - 视觉视频解析。

    Jul, 2020

  • 无约束视频中的视听事件定位

    本文介绍了一个新的无约束视频中的音频视觉事件定位问题，使用 AVE 数据集进行研究，提出了使用双模态残差网络结合音频引导视觉注意力机制处理音频视觉相关性的方案，并针对跨模态定位提出跨模态距离学习网络。实验结果表明，联合建模听觉和视觉模型优于独立建模，学习到的注意力可以捕捉声音对象的语义，音频视觉融合的时序对齐很重要，所提出的 DMRN 在融合音频视觉特征方面非常有效，两个模态之间的强相关性使跨模态定位成为可能。

    Mar, 2018

  • 跨模态学习用于视听视频解析

    本文介绍了一种新的音频 - 视觉视频解析（AVVP）任务的方法，该方法将音频和视觉模态中的事件分开，在时间上同时检测这些事件的开始和结束，并利用对抗性训练、全局上下文知觉关注和自监督预训练来获得跨模态的音频 - 视频表示，实验结果表明本文的方法在 AVVP 任务上比现有的 HAN 模型更好。

    Apr, 2021

  • 金字塔注意力网络用于语义分割

    使用金字塔注意力网络 (PAN) 进行语义分割，通过特征金字塔注意力模块和全局注意力上采样模块提取精确的密集特征，优于现有方法，可达到 PASCAL VOC 2012 和 Cityscapes 数据集的最高精度 mIoU 84.0%。

    May, 2018

  • 弱监督音频分类的多层注意力模型

    本文提出了一个多级关注模型来解决弱标签音频分类问题。 实验证明，与单级关注模型和 Google 基线相比，该模型在 Google 音频数据集上表现出更高的平均精度（mAP）。

    Mar, 2018

  • 双模态 seq2seq 网络用于音频 - 视觉事件定位

    本文介绍了一种名为 AVSDN 的深度神经网络，通过联合考虑每个时间段的音频和视觉特征作为输入，以序列到序列的方式学习全局和局部事件信息，在完全监督或弱监督设置下获得了良好的结果，并在音频视觉事件定位方面优于最近的深度学习方法。

    Feb, 2019

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • CM-PIE：跨模态感知的交互增强音频视觉视频解析

    本文介绍了一种基于片段注意力模块的交互增强型跨模态知觉方法（CM-PIE），该方法通过学习细粒度特征和增强跨模态交互以共同优化音频和视觉信号的语义表示，提高了在 Look, Listen, and Parse 数据集上的解析性能。

    Oct, 2023