Jun, 2023

利用骨架指导的学习场景流进行三维动作识别

PDF
TL;DR本研究提出了一种基于 3D 流的增量二级空间注意机制，通过骨骼域引导，强调靠近身体关节区域的运动特征及其信息性，并提出了扩展的深度骨骼模型，用于学习最具有判别力的动作运动动力学，从而评估每个关节的信息性得分，并采用两个模型之间的后期融合方案来学习高水平的跨模态相关性，实验结果在当前最大和最具挑战性的数据集 NTU RGB+D 上表明，所提出的方法的有效性达到了最先进的水平。
3d action recognition3d flowspatiotemporal modelskeleton modelntu rgb+d
发现论文，激发创造
  • 一种用于三维动作识别的骨架序列新表示方法

    本文提出了一种新的方法，使用骨架序列（即人类骨架关节的 3D 轨迹）进行三维动作识别，并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。

    Mar, 2017

  • 基于三维骨架的行为识别学习方法调查

    这篇研究论文介绍了从基于深度学习架构的角度全面讨论使用三维骨架数据进行动作识别，并详细介绍了基于循环神经网络 (RNN)-based、卷积神经网络 (CNN)-based 和图卷积网络 (GCN)-based 的主流动作识别技术，并介绍了包括 NTU-RGB+D 在内的多个数据集和算法。

    Feb, 2020

  • Scene Flow to Action Map：一种基于 RGB-D 的动作识别新表示法与卷积神经网络

    本文提出了一种基于 RGB-D 数据的场景流用于动作识别的方法，它通过提取特征来从一开始就进行动作识别，并采用有效的自校准方法来对齐 RGB 和深度数据，再根据场景流向量提出一种新的表示法 SFAM，实验表明它的识别效果优于现有的方法。

    Feb, 2017

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 深度视频中的多模态多部分学习与动作识别

    提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

    Jul, 2015

  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • 基于骨骼的动作识别的双流三维卷积神经网络

    本文利用 3D CNN 提取基于骨架的动作识别的时空信息与深度特征，探讨其与 RNN 的互补性和噪声下的鲁棒性，并在 SmartHome 数据集和 NTU RGB-D 数据集上获得优异的表现。

    May, 2017

  • 基于时空 LSTM 网络和可控门的骨架动作识别

    本论文提出了一种基于骨骼的人体动作识别方法，该方法采用循环神经网络建模体关节的 3D 位置配置之间的时间依赖关系，利用空间域和时间域共同分析骨架序列中与动作相关信息的潜在来源，并提出了一种有效的基于树状结构的遍历框架，以处理 Kinect 骨架数据中的噪声。该方法采用了新的 LSTM 模块中的门机制，通过学习连续数据的可靠性，并相应地调整长期上下文表示存储在单元的内存单元中输入数据的影响，从而处理骨架数据中的噪声，并提出了一种新颖的多模态特征融合策略。实验结果表明该方法在 7 个具有挑战性的基准数据集上具有很好的效果。

    Jun, 2017

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 带有信任门的时空 LSTM 用于 3D 人体动作识别

    本研究提出了一种基于 RNN 的学习方法，通过树形结构遍历骨骼图来分析 3D 运动数据的时空依赖关系，并引入新的门控机制来处理 3D 骨骼数据中的噪声和遮挡，从而实现对动作数据的高效分析及提取。

    Jul, 2016