CVPRJun, 2021

TSI：用于视频动作识别的时间显著性整合

PDF
TL;DR本文提出了一种基于 Temporal Saliency Integration (TSI) 块的运动识别方法，其中主要包含了 Salient Motion Excitation (SME) 模块和 Cross-perception Temporal Integration (CTI) 模块，通过这两个模块，可以高效地编码长短时序关系。
video action recognitionspatiotemporal modelingtemporal saliency integrationsalient motion excitationcross-perception temporal integration
发现论文，激发创造
  • TEINet: 面向视频识别的高效架构

    提出了一种称为 TEI 模块的有效的时序模块，它可插入现有的 2D CNN 中。与三维卷积相比，该方法学习时序特征的的范例不仅能够灵活有效地捕捉到时序结构，还具有高效性。

    Nov, 2019

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 学习全面的运动表示以进行动作识别

    本研究提出了基于 2D CNN 的动作识别方法 (CMR)，通过引入 CME 和 SME 两个 motion enhancement 模块，分别从通道和空间维度上对动态信息进行加强，进一步提高了识别准确率。在 Something-Something V1、V2 和 Kinetics-400 数据集上取得了有竞争力的性能表现。

    Mar, 2021

  • TEA：用于动作识别的时间激发和聚合

    本文提出了一个时空激发和聚集（TEA）块，包括运动激发（ME）模块和多重时空聚合（MTA）模块，专门设计来捕捉短期和长期的时空演变。该方法在几个动作识别基准测试中取得了令人印象深刻的成果，证明了其有效性和高效性。

    Apr, 2020

  • 面向高效视频识别的时间显著性查询网络

    提出一种新的时序显著性查询机制，引入类别特定信息为显著性测量提供精细线索，并在 TSQNet 中实现了两种检索机制和跨模态交互，从而解决现有技术对类别的不确定性和上下文缺失等问题，并在 ActivityNet，FCVID 和 Mini-Kinetics 数据集上获得了最好的成果。

    Jul, 2022

  • STM: 时空和动作编码用于动作识别

    本文提出了一个基于 2D 框架的 STM 网络，利用 STM 块替换 ResNet 架构中的残差块，同时编码时空特征和动作特征，实现了高效的视频动作识别。实验证明，提出的方法在数据集 Something-Something v1&v2、Jester、Kinetics-400、UCF-101 和 HMDB-51 上性能优于其他现有方法。

    Aug, 2019

  • 动作识别的时间分离表征学习

    本研究通过设计渐进式增强模块（PEM）和创建时间多样性损失（TD Loss）两种方法，以解决将 2D CNN 应用于视频分析中出现的重复和冗余信息利用问题，并在 Something-Something V1 和 V2 等基准时间推理数据集上取得 2.4％和 1.3％的性能改进，同时在大规模数据集 Kinetics 上也 witness 了超过基于 2D-CNN 的现有技术的性能提升。

    Jul, 2020

  • 探索用于实时视频显著性目标检测的丰富和高效的时空交互

    本文提出了一种新颖的时空网络来提高视频显著性检测的性能，通过将轻量级的时间模型整合到空间分支中，粗略定位与值得信赖的显著运动相关的空间显著区域，同时，空间分支本身能够多尺度地反复改善时间模型，从而使空间和时间分支能够互相交互，实现相互性能提高。我们的方法易于实现且有效，在实时速度下以 50 FPS 实现高质量的视频显著性检测。

    Aug, 2020

  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 动态显著性预测的时空显著性网络

    本研究提出了基于深度学习的时空注意力预测模型，其中采用两条流网络架构，探究了不同的信息融合机制。实验结果表明，采用运动信息可以有助于静态注意力估计，并取得了与最先进模型相竞争的结果。

    Jul, 2016