Sep, 2023

使用二维骨骼热图进行动作分割

PDF
TL;DR这篇论文介绍了一种基于 2D 骨架的动作分割方法，可用于细粒度的人类活动识别，并且通过使用 2D 骨架热图和 RGB 视频作为输入，在动作分割数据集上表现出可比较 / 优越的性能和更好的关键点缺失容忍度。
2d skeleton-based action segmentationfine-grained human activity recognitiontemporal convolutional networksspatiotemporal featuresrgb videos
发现论文，激发创造
  • 时间对齐 2D 骨架序列学习

    本论文提出了一种自监督学习的视频对齐框架，利用 2D 骨架热图作为输入，通过自身在空间和时间域内的自注意力机制来提取有效的时空和上下文特征，同时通过基于 2D 骨架的热图增强技术进行自监督学习，取得了比 CASA 更高的准确度和对缺失和噪声关键点更好的稳健性，在不同的细粒度人体活动理解任务中表现优于先前的方法，如阶段分类、阶段进展、视频对齐和细粒度帧检索。

    May, 2023

  • 基于骨骼的动作识别再探讨

    本文提出了基于 3D 热力图堆叠的 PoseC3D 方法，相较于基于图卷积网络的方法，能够更有效地学习时空特征、更具鲁棒性，并且适用于多人场景，同时在处理过程中也更加易于与其它视觉模态进行结合。在四个具有挑战性的数据集中，PoseC3D 方法均取得了卓越表现。

    Apr, 2021

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 一种用于三维动作识别的骨架序列新表示方法

    本文提出了一种新的方法，使用骨架序列（即人类骨架关节的 3D 轨迹）进行三维动作识别，并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。

    Mar, 2017

  • 基于骨骼的动作识别的双流三维卷积神经网络

    本文利用 3D CNN 提取基于骨架的动作识别的时空信息与深度特征，探讨其与 RNN 的互补性和噪声下的鲁棒性，并在 SmartHome 数据集和 NTU RGB-D 数据集上获得优异的表现。

    May, 2017

  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019

  • 基于关节轨迹地图和卷积神经网络的动作识别

    本文提出了一种使用 Joint Trajectory Maps（JTM）表示三维骨架序列中的时空信息的方法，然后使用 ConvNets 学习人体动作识别的判别特征，并通过多个 JTM 的评分融合来改善最终识别结果，实验结果表明该方法在多个公共基准数据集上均取得了最先进的结果。

    Dec, 2016

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 基于三维骨架的行为识别学习方法调查

    这篇研究论文介绍了从基于深度学习架构的角度全面讨论使用三维骨架数据进行动作识别，并详细介绍了基于循环神经网络 (RNN)-based、卷积神经网络 (CNN)-based 和图卷积网络 (GCN)-based 的主流动作识别技术，并介绍了包括 NTU-RGB+D 在内的多个数据集和算法。

    Feb, 2020