Jul, 2023

视频 FocalNets：时空 Focal 调制用于视频动作识别

PDF
TL;DR本文提出了基于方向聚焦的架构 Video-FocalNet，它是一种有效且高效的视频识别体系结构，用于同时对本地和全局上下文进行建模，相较于现今热门的视频识别模型，该识别模型在三大数据集上表现优异，具有更低的计算成本。
发现论文，激发创造
  • 聚焦调制网络

    本研究提出了一种基于聚焦调制机制的聚焦调制网络 (FocalNets), 其中自注意力机制被完全替换，实现了对于视觉信息的建模，并在图像分类、目标检测和分割等任务中取得了优越表现。

    Mar, 2022

  • 视频 Transformer 的时空混合注意力

    本研究论文介绍了一种使用 Transformer 进行视频识别的模型，相较于其他视频识别模型，本模型计算效率更高。为实现此目的，本模型对全时空注意力机制进行两种简化处理：(a) 限制时间注意力于局部时间窗口内，(b) 使用高效的时空混合方法联合对空间和时间位置进行注意力处理，而不增加任何额外的成本。

    Jun, 2021

  • 空时注意力是否足以理解视频？

    该论文提出了一种基于自注意力机制的视频分类方法，名为 TimeSformer，适用于序列级别的视频帧，采用分离式自注意力机制，不仅训练速度比 3D 卷积神经网络更快，而且在多个动作识别数据集上实现了最佳效果，且支持处理长达一分钟的视频.

    Feb, 2021

  • 视频帧插值变换器

    本论文提出了一种基于 Transformer 模型的视频插帧方法，利用自注意力机制实现了内容关注的多尺度帧间聚合，并引入本地注意力机制以及时间与空间的分离策略以优化性能。实验证明该方法在多个基准数据集上得到了优于现有方法的表现。

    Nov, 2021

  • 基于注意力的多模态融合视频描述

    本文提出了一种称为多模态注意力的方法，可以针对图像特征、运动特征和音频特征进行选择性关注，以促进视频描述的多模态信息融合，并在 Youtube2Text 数据集上取得了竞争状态 - of-the-art 的结果。

    Jan, 2017

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • MVFNet: 高效视频识别的多视角融合网络

    本文提出了一种基于 2D CNN 骨干网络的新的多视图融合（MVF）模块，用于视频动作识别中的时空建模，并利用可分离卷积实现了高效处理，实验结果表明，该方法在不降低识别精度的情况下降低了模型复杂度。

    Dec, 2020

  • 视觉 Transformer 中的局部 - 全局交互的焦点自注意力

    本文介绍了一种名为 Focal Transformer 的新型视觉 Transformer 模型，采用了一种称为 focal self-attention 的新机制，有效地解决上述算法在高分辨率视觉任务方面的困难之处，并在各项视觉任务的公共基准测试中创造了新的 SoTA。

    Jul, 2021

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021

  • StNet：行动识别的局部和全局空时建模

    本文提出了一种新的空时网络（StNet）架构来进行局部和全局的空时建模，通过将 N 个连续的视频帧堆叠成一个超级图像，并对超级图像应用二维卷积来捕获局部空时关系，再对局部空时特征映射应用时间卷积来建模全局空时关系，该方法在动作识别方面优于现有技术，也在模型复杂度和准确度之间取得了理想的平衡，实验结果表明该方法可以广泛应用于视频表示的学习。

    Nov, 2018