Jan, 2020

音频视觉 SlowFast 网络用于视频识别

PDF
TL;DR该研究提出了 Audiovisual SlowFast Networks，一种用于集成视听感知的架构，并通过多层次融合视听特征以及采用 DropPathway regularization 技术对音频路径进行正则化来提高训练效果，并通过层次感知来学习联合视听特征，该方法在六个视频动作分类和检测数据集上取得了最先进的结果。
audiovisual slowfast networksintegrated perceptionaudiovisual conceptsdroppathway regularizationvideo action classification
发现论文，激发创造
  • 慢快网络用于视频识别

    介绍了 SlowFast 网络用于视频识别，它包括 Slow 路径和 Fast 路径，其中 Slow 路径能捕捉空间语义，Fast 路径能捕捉精细时间分辨率的动态信息，并能在减小通道容量的前提下实现高精度的视频识别。

    Dec, 2018

  • 用于音频识别的慢速 - 快速听觉流

    本文提出了一种用于音频识别的双流卷积网络，通过学习具有可分离卷积和多级侧向连接的 Slow-Fast 音频流。我们证明了我们的双流提案在 VGG-Sound 和 EPIC-KITCHENS-100 数据集上的重要性，并在两个数据集上均取得了最先进的结果。

    Mar, 2021

  • 音视少样本学习的文本特征传播

    通过少量标记数据进行音视频数据的深度学习模型训练是一种更经济的方式，本研究提出了一种统一的音视频少样本视频分类基准，通过跨模态注意力融合时空和音视觉特征，并为新类别生成多模态特征，最终获得了最先进的音视频少样本学习表现。

    Sep, 2023

  • 自监督同步下的音频和视频模型协同学习

    该研究通过自监督的时间同步学习模型实现音频和视频分析的目的，模型能够在没有微调的情况下有效地识别出时序同步的音频 - 视频配对，并提供了一种非常有效的初始化方式以改善基于视频的动作识别模型的准确性。

    Jun, 2018

  • SlowFast 网络用于连续手语识别

    本研究旨在通过双通道 SlowFast 网络以及特殊的特征融合方法，有效提取连续手语识别中的时空特征，并在多个数据集上展示了该模型在空间和动态表示方面的优势。

    Sep, 2023

  • 音视频扫视网络用于高效视频识别

    通过利用音频和视觉模态在视频中高效处理时空重要部分，我们提出了一个名为 AVGN 的音视频感知网络，通过划分视频片段并使用轻量级单模态编码器和音频增强的空间块注意模块，实现了更高效的视频识别。同时结合多种训练技术和多模态特征融合，我们的 AVGN 在多个视频识别基准上取得了新的最高性能并实现了更快的处理速度。

    Aug, 2023

  • 双模态 seq2seq 网络用于音频 - 视觉事件定位

    本文介绍了一种名为 AVSDN 的深度神经网络，通过联合考虑每个时间段的音频和视觉特征作为输入，以序列到序列的方式学习全局和局部事件信息，在完全监督或弱监督设置下获得了良好的结果，并在音频视觉事件定位方面优于最近的深度学习方法。

    Feb, 2019

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • AVFF：音视特征融合用于视频深度伪造检测

    通过跨模态学习方法的视听特征融合，我们提出了一种用于改进深假检测的两阶段方法，可以明确地捕捉音频和视觉模态之间的对应关系，并在真实和伪造视频上进行监督学习，取得了 98.6% 的准确率和 99.1% 的 AUC，相较于当前的音视混合最先进技术，准确率和 AUC 分别提高了 14.9% 和 9.9%。

    Jun, 2024

  • 端到端音视频语音识别

    本文提出了一种基于残差网络和双向门控循环单元 (BGRU) 的端到端视听模型，该模型是第一个在大型公开数据集 (LRW) 上学习直接从图像像素和音频波形提取特征并进行语境内单词识别的视听融合模型，并取得了比端到端仅音频模型和基于 MFCC 的模型更好的分类效果。

    Feb, 2018