ECCVJul, 2020

AttentionNAS: 基于时空注意力单元搜索的视频分类

PDF
TL;DR提出一种新的用于搜索空间时间关注单元的方法，可以用于改善现有的骨干网络（如 I3D 或 S3D）中的视频分类精度，并在 Kinetics-600 和 MiT 数据集上超过 2％。
convolutional operationsattention operationsspatiotemporal attention cell searchvideo classificationnon-local blocks
发现论文，激发创造
  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 用于时空视觉注意的循环混合密度网络

    本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

    Mar, 2016

  • 空时注意力是否足以理解视频？

    该论文提出了一种基于自注意力机制的视频分类方法，名为 TimeSformer，适用于序列级别的视频帧，采用分离式自注意力机制，不仅训练速度比 3D 卷积神经网络更快，而且在多个动作识别数据集上实现了最佳效果，且支持处理长达一分钟的视频.

    Feb, 2021

  • 注意力聚类：基于纯注意力的局部特征融合用于视频分类

    通过研究视频分类的常见数据集，本文提出了一种注意力集群的本地特征融合框架，并引入一种转移操作来捕获更多样化的信号，证明了这种基于注意力的本地特征融合的有效性，该算法在三个真实世界的视频分类数据集上都取得了竞争性的结果，并在 ActivityNet Kinetics Challenge 2017 中荣获胜利。

    Nov, 2017

  • 时空关注的两流协同学习用于视频分类

    本论文提出了一种适用于视频分类的两流协作学习方法，采用空间 - 时间注意力模型实现了针对视频中静态和动态信息的协同学习，以提取出区分度更强的特征向量，实验结果表明，该方法在各项性能指标上均优于其他 10 多种最先进的方法。

    Nov, 2017

  • 时空注意力与偏移非局部搜索

    通过结合非本地搜索的质量和预测偏移量的范围，本文提出了一种称为移位非本地搜索的搜索策略，用于高效地计算视频的注意力图，以改善视频帧对齐质量和视频去噪结果。

    Sep, 2023

  • 音频场景分类的时空注意池化

    本文提出了一种基于卷积递归神经网络的时空关注池化层，用于学习判别性模式并抑制与声学场景分类无关的模式。实验证明该方法不仅优于强卷积神经网络基线，还在 LITIS Rouen 数据库上取得了新的最优性能。

    Apr, 2019

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • CSTA：基于卷积神经网络的时空注意力视频摘要

    提出了一种基于 CNN 的时空注意力（CSTA）方法，将视频的每个帧的特征堆叠起来形成类似图像的帧表示，并应用 2D CNN 对这些帧特征进行处理，实现对关键属性的学习和视觉重要性的捕捉，在 SumMe 和 TVSum 等数据集上实验证明了该方法在减少计算量的同时取得了最先进的性能。

    May, 2024

  • 卷积神经网络结构搜索用于时空特征学习

    基于 ImageNet 预训练的 ConvNets 在图像识别方面已经得到了证明，但是为了捕捉到运动模式，仍然需要专门的时空特征学习，本文提出了一种经验 ConvNet 架构搜索方法，通过 3D 残差 ConvNet 实现，其在 Sports-1M、UCF101、HMDB51、THUMOS14 和 ASLAN 上的表现均优于 C3D，且推断时间减少一半、模型大小减小一半，具有更紧凑的表现形式。

    Aug, 2017