May, 2024

一种基于语义和运动感知的时空转换网络实现动作检测

PDF
TL;DR本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。
spatiotemporal transformer networkaction detectionmulti-feature selective semantic attention modelmotion-aware networksequence-based temporal attention model
发现论文，激发创造
  • 多模态 Transformer 网络用于动作检测

    本文提出了一种新的多模态转换器网络，用于检测未修剪视频中的动作，利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性，并提出一种算法来纠正相机运动引起的动态变形，该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法，在我们的新教育活动数据集上进行了比较实验，该数据集包括从小学捕捉的大量具有挑战性的课堂视频。

    May, 2023

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 一种高效的时空金字塔变换器用于动作检测

    本研究提出一种名为 STPT 的层次化时空金字塔 Transformer 模型，通过采用局部窗口注意力和全局注意力模块，实现了对长视频片段中动作的高效检测和定位，与目前流行的基于 Transformer 的模型相比，提高了精度并减少了冗余计算。

    Jul, 2022

  • 基于 Transformer 的 2D 姿势和时空嵌入融合的分心驾驶操作识别

    该研究旨在通过将视频动作识别和 2D 人体姿势估计网络结合为一个模型，改善时间定位和分类准确性表现。最终，通过从不同的摄像头视角获取信息并消除误报，该模型在 2023 年 NVIDIA AI 城市挑战的自然驾驶行为识别中表现出色，实现了优化的区域覆盖得分 0.5079。

    Mar, 2024

  • 面向语言驱动视频动作定位的实体感知和动作感知 Transformer

    本文提出了一种利用实体感知和动作感知的转换器，通过文本实体及动作查询逐步地定位视频中的动作定位。实验表明，相比于现有方法，我们的方法在动作定位的精度上具有优势。

    May, 2022

  • 时空对齐网络用于动作识别

    通过引入视点不变特征表示，研究提高现有动作识别架构；提出了一种轻量级通用的空间 - 时间对齐网络（STAN）用于学习动作识别的几何不变表示；实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。

    Aug, 2023

  • 基于提议的未修剪视频时空动作检测解决方案

    本文提出了一种基于对象检测的两阶段模块化系统，用于在未裁剪的安全视频中进行时空动作检测，第一阶段使用层次聚类和时间抖动技术生成稠密的时空建议，第二阶段是一个 TRI-3D 网络，在生成的提议上执行动作分类和时态细化。实验结果表明本文提出的方法在区分不同时长、空间尺度范围内的动作检测方面效果显著。

    Nov, 2018

  • MS-TCT: 多尺度时间卷积转换器用于动作检测

    我们提出了一种基于 ConvTransformer 网络的行动检测方法，通过三个组件（时间编码器、时间尺度混合器和分类器）高效地捕捉视频中的短期和长期时间信息，实验表明该方法在 Charades、TSU 和 MultiTHUMOS 数据集上效果显著优于现有方法。

    Dec, 2021