MMFeb, 2022

基于骨架序列和 RGB 帧的多模态特征融合网络用于动作识别

PDF
TL;DR本文研究动作识别，提出一种基于多模态特征融合网络的方法，将骨架序列和 RGB 帧的关键信息相结合，以此保留补充信息的同时大大降低了其网络的复杂性。实验表明，所提出的模型能够与现有最先进的方法相比取得竞争性的表现。
action recognitionmulti-modalityfeature fusionskeleton sequencergb frame
发现论文，激发创造
  • RGB+D 视频中的行为识别深度多模态特征分析

    本文提出一种新的深度自编码器共享特定特征分解网络，将多模态信号分解成一系列组件，进而结合特征结构提出了一种结构化稀疏学习机以获得更好的分类性能，实验证明该方法在动作识别方面最先进。

    Mar, 2016

  • 模态补偿网络：用于动作识别的跨模态自适应

    本文提出一种 Modality Compensation Network（MCN）用于 RGB-D 摄像机采集的视频中的人类动作识别。该网络通过深度 CNN 和 LSTM 网络构建，使用骨骼作为辅助模态来提取源模态的更具有区分性的特征，并通过调整适应性表示学习，以弥补测试时甚至是训练时骨架的信息损失。实验结果表明，在四个广泛使用的动作识别基准测试上，MCN 优于现有的最佳方法。

    Jan, 2020

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 基于卷积神经网络的基础动作识别

    本文提出了一种基于卷积神经网络的框架用于骨骼动作识别，通过自动选择重要的骨骼节点和提取时间段提案进行动作分类和检测， 在 NTU RGB + D 数据集上获得了 89.3％的验证准确性和 93.7％的 mAP。

    Apr, 2017

  • 基于骨架的动作识别：使用平移尺度不变性图像映射和多尺度深度卷积神经网络

    该论文提出了一种基于图像分类的骨架视频动作识别方法，通过图像映射和卷积神经网络构建实现了在多个数据集上的最新成果。

    Apr, 2017

  • 基于多尺度时空骨架匹配的一次性动作识别

    本文提出一种新的一次性骨架动作识别技术，通过多尺度空间和时间特征匹配处理骨架动作识别，实现了优秀、卓越的一次性骨架动作识别，并在诸多大规模数据集上，持续超越当前最先进的方法。

    Jul, 2023

  • 基于骨架的动作识别中学习判别性表示

    本文提出了一个辅助的特征细化头（FR Head），通过空间 - 时间分解和对比特征细化来识别骨架的歧义样本，从而强化对多层的监督，并在多个数据集上进行了广泛的实验，得到了与最先进方法相竞争的结果。

    Mar, 2023

  • 基于三维骨架的行为识别学习方法调查

    这篇研究论文介绍了从基于深度学习架构的角度全面讨论使用三维骨架数据进行动作识别，并详细介绍了基于循环神经网络 (RNN)-based、卷积神经网络 (CNN)-based 和图卷积网络 (GCN)-based 的主流动作识别技术，并介绍了包括 NTU-RGB+D 在内的多个数据集和算法。

    Feb, 2020

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 探索人工解析模式用于动作识别

    采用人体解析特征图作为一种新的模态，结合骨架和人体解析模态，提出了一种新的双分支框架（EPP-Net），通过后期融合策略有效地结合两种高级特征以实现更好的动作识别。

    Jan, 2024