CVPRDec, 2021

MS-TCT: 多尺度时间卷积转换器用于动作检测

PDF
TL;DR我们提出了一种基于 ConvTransformer 网络的行动检测方法，通过三个组件（时间编码器、时间尺度混合器和分类器）高效地捕捉视频中的短期和长期时间信息，实验表明该方法在 Charades、TSU 和 MultiTHUMOS 数据集上效果显著优于现有方法。
action detectionconvtransformer networktemporal informationmulti-scale featuresclassification module
发现论文，激发创造
  • MS-TCN：多阶段时间卷积网络用于动作分割

    本研究提出了一种多阶段架构方法来解决视频动作分段问题，使用扩张卷积神经网络来生成初始预测并利用平滑损失进行训练，模型在多个数据集上实现了最新的研究成果。

    Mar, 2019

  • MS-TCN++：基于多阶段时间卷积网络的动作分割

    本文提出了一种多阶段架构的深度学习模型，通过利用扩张时间卷积和双重扩张时间卷积层，实现了在长时间的未修剪视频中对动作进行准确的时序分割，并在三个数据集上取得了最先进的结果。

    Jun, 2020

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 多模态 Transformer 网络用于动作检测

    本文提出了一种新的多模态转换器网络，用于检测未修剪视频中的动作，利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性，并提出一种算法来纠正相机运动引起的动态变形，该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法，在我们的新教育活动数据集上进行了比较实验，该数据集包括从小学捕捉的大量具有挑战性的课堂视频。

    May, 2023

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • 规模有关：针对未修剪视频精确动作定位的时间尺度聚合网络

    该研究提出了一个新的集成时间尺度聚合网络（TSA-Net），采用多扩张时间卷积（MDC）块和子网络实现特定持续时间动作的时间响应场，以检测且生成受限于三种关键点的动作提议，并在 THUMOS14 和 ActivityNet-1.3 数据集上达到了新的最佳表现。

    Aug, 2019

  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • 一种用于密集多标签动作检测的有效高效方法

    通过在转换器层中嵌入相对位置编码和非分层结构来解决密集多标签场景下同时学习时间依赖和共现动作关系的挑战，并通过引入一种新的学习范式，以在推断期间不施加额外计算成本的方式显式建模时间共现动作依赖性。

    Jun, 2024

  • TransRAC: 使用 Transformer 编码多尺度时间相关性用于重复行为计数

    为解决现有短视频针对长视频中多样化和实际情况不足的问题，本文提出了一种包含多尺度时间关联的 transformer 编码方法和基于密度图回归的行动周期预测方法，并提供了更细致的注释来解决重复行动计数过程中的不一致现象。该方法不仅在所有数据集上均优于现有方法，而且在未经微调的未见过数据集上也表现更好。

    Apr, 2022