ICCVNov, 2018

在特征空间中学习运动：局部一致变形卷积网络用于细粒度动作检测

PDF
TL;DR本文提出了一种新颖的局部一致可变卷积，利用感受野变化并强制执行局部连贯性约束以有效捕获运动信息，其中时空组件是从特征空间而非像素空间学习的。最终结果表明，所提出的方法在两个动作细粒度数据集（Salads50 和 GTEA）上均显著优于原有的长期时间建模方法，分别取得了 80.22％和 75.39％的 F1 分数。
fine-grained action detectionlocally-consistent deformable convolutionspatio-temporal featurestemporal modelinglong-term dependencies
发现论文，激发创造
  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • CDC: 卷积 - 反卷积网络在未剪辑视频中实现精确的时间动作定位

    提出了一种使用 CDC 网络和 3D ConvNets 实现时间上精细边界检测的方法，并达到了非常高的效率和性能。

    Mar, 2017

  • 视频动作识别的协作时空特征学习

    本文提出了一种新颖的神经操作，通过在三个正交视图上进行 2D 卷积，协同编码了时空特征，并通过权值共享来促进空间和时间特征的学习，此方法在大规模基准测试中取得了最优性能，并通过对不同视图学习的系数进行量化，探讨了空间和时间特征的贡献，以提高模型的解释性并指导视频识别算法的设计。

    Mar, 2019

  • 视频中的时间活动检测粗细网络

    介绍了 Coarse-Fine Networks 模型，利用不同抽象层次的时间分辨率学习更好的视频表示，提出 Grid Pool 和 Multi-stage Fusion 算法，成功降低了计算和内存需求，且超越了 Charades 数据集中的行动检测 state-of-the-art 性能。

    Mar, 2021

  • 探索时间保留网络用于精确的时间动作定位

    本文提出一种时序保留卷积网络 (TPC Network)，利用 TPC 过滤器为三维卷积神经网络 (3D ConvNets) 提供全面的时间分辨率和空间分辨率压缩，实现了帧级别粒度的动作本地化，该网络可进行端到端训练，并在公共数据集上取得了显著的改进。

    Aug, 2017

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • 通过检测学习有区别的运动特征

    该研究提出了一种学习过程，使得检测模型能够从 RGB 视频数据中直接学习运动特征，我们在空间和时间上利用了可变形卷积来预测人的姿势，这自然地鼓励我们的网络学习编码两帧之间空间对应关系的运动偏移量，这些运动偏移量称为 DiMoFs（区分运动特征），并且推广了该模型用于时空行为本地化和细粒度动作识别。

    Dec, 2018

  • 用于细粒度动作分割的分段时空卷积神经网络

    提出了一个基于低级时空特征和高级的段分类器的动作分割模型， 结合了半马尔可夫模型， 并引入一种比当前方法快数倍的有效的有约束的段推断算法。在烹饪和手术动作数据集上观察到明显的改进。

    Feb, 2016

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • 多维度细化图卷积网络与健壮解耦损失用于细粒度基于骨架的动作识别

    本文提出了一种灵活的注意力模块 CVSTA，可以提高时空关节的判别能力，进而构建了一种多维精细化的图卷积网络 MDR-GCN，加之结合了鲁棒分离损失函数 RDL，成功地提升了骨架动作识别的准确率。

    Jun, 2023