CVPRMar, 2022

DirecFormer：一种基于 Transformer 的定向注意力方法用于鲁棒动作识别

PDF
TL;DR通过引入有序时序学习问题和引入新的有向注意力机制，提出了一个新的基于 Transformer 的框架来解决行为识别问题，并在三个标准大规模基准测试上实现了与最近的行为识别方法相比的最先进的结果。
human action recognition3d-cnntransformer-based approachtemporal learningconditional dependency
发现论文，激发创造
  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • Action Transformer：用于基于短时间姿态的人类动作识别的自注意模型

    本文介绍了 Action Transformer，一种简单的完全自注意力架构，在人体动作识别中表现出色，并利用 2D 姿势表示来提供低延迟解决方案，此外我们提供了 MPOSE2021，这是一个新的大规模数据集，用于实时、短时 HAR 的训练和评估基准建立。

    Jul, 2021

  • ActNetFormer：半监督视频动作识别的 Transformer-ResNet 混合方法

    提出了一种使用跨体系伪标签与对比度学习的半监督行为识别方法，其中结合 3D 卷积神经网络（3D CNN）和视频变换器（VIT）的独特方法能够有效捕捉行为的局部和全局上下文信息，从而在标记数据的一小部分情况下实现了卓越的性能。

    Apr, 2024

  • 视觉 Transformer 在动作识别中的应用：一份调研报告

    本文针对视觉 transformer 在人体动作识别领域的研究进展进行了综述，主要就其架构、模态、目标、编码、降维、自监督学习、评估指标等方面展开阐述，并探讨了其存在的挑战和未来发展方向。

    Sep, 2022

  • 动作识别中的 Transformer: 时序模型综述

    本文主要介绍了基于 transformers 模型的深度学习方法，用于模拟时间上的变化进行动作识别的研究进展和应用挑战。

    Dec, 2022

  • 交互变换器：人类反应生成

    本研究提出了一种基于交互 Transformer 的新模型，该模型结合了时间和空间的注意力机制，通过使用图形和交互距离模块进一步提高了空间注意力的性能，可用于生成更复杂和长期的交互动作。

    Jul, 2022

  • STAR-Transformer：面向人类动作识别的时空交叉注意力变压器

    提出一种名为 STAR-transformer 的模型，该模型可以有效地表示两个跨模态特征为可识别的矢量，并学习到一种高效的多功能特征表示方法。在动作识别领域中，STAR-transformer 的效果显著优于之前的最先进方法。

    Oct, 2022

  • ASFormer：用于动作分割的 Transformer

    本文提出了一种名为 ASFormer 的高效 Transformer 模型，通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题，并在三个公共数据集上进行了广泛实验。

    Oct, 2021

  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 增强的细粒度人体动作识别的联合 CNN Transformer 编码器

    本文研究了基于视觉编码器和多模式视频文本交叉编码器的两个框架，通过结合 CNN 视觉和 Transformer 编码器，增强了细粒度行动识别的效果，并在 FineGym 基准数据集上取得了最新的最优性能。

    Aug, 2022