Oct, 2023

InfoGCN++: 基于骨骼的在线人体动作识别的学习表示预测未来

PDF
TL;DRInfoGCN++ 是 InfoGCN 的创新扩展，专门用于在线基于骨骼的动作识别。它通过学习当前和预期未来的动作，基于观察到的动作来管理预测问题，采用神经常微分方程的方法来有效建模隐藏状态的连续演变，在三个基于骨骼的动作识别基准测试中表现出卓越的性能，从而在实时动作识别应用中具有重要的潜力。
skeleton-based action recognitioninfogcnreal-timeonlineneural ordinary differential equations
发现论文，激发创造
  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 神经搜索下的基于骨架的人体动作识别中的图卷积网络学习

    提出了一种自动设计的图卷积网络，用于基于骨架的动作识别，该网络通过动态图模块和多次跳跃模块增加了空间 - 时间相关性的表示能力，使用采样和记忆效率的进化策略搜索出优化架构，结果表明其效果优于现有图卷积网络。

    Nov, 2019

  • 基于语言知识辅助的骨骼动作识别表示学习

    研究了人类理解和识别他人动作的复杂神经科学问题，提出了一种利用大规模语言模型知识辅助的图卷积网络（LA-GCN）来进行骨架动作识别，采用先验全局关系和先验类别关系提供额外监督，另外使用多跳注意力图卷积以提高拓扑建模中的信息传递效率。在 NTU RGB+D，NTU RGB+D 120 和 NW-UCLA 数据集上实现了最先进的结果。

    May, 2023

  • 克服拓扑集成视野：通过重新定义骨架拓扑感知增强基于骨架的动作识别

    本文研究骨骼动作识别中图卷积网络 (Graph Convolutional Networks, GCNs) 的局限性，提出了一种新的三合一策略：利用图距离编码骨骼连接，强调骨骼序列的时间平均值，以及利用 BlockGC 进行关系配置的变化修正，提高模型性能和准确率。BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色，参数减少了 40% 以上。

    May, 2023

  • 基于骨架的动作识别的双流自适应图卷积网络

    本研究提出了一种新的双流自适应图卷积网络 (2s-AGCN)，用于基于骨架的动作识别，通过数据驱动的方法学习网络拓扑结构，同时建立了包含一阶和二阶信息的双流框架，通过对 NTU-RGBD 和 Kinetics-Skeleton 数据集上的实验，证明了本模型的优越性。

    May, 2018

  • 基于骨架的动作识别的高性能推断图卷积网络

    介绍了通过重参数化和超参数化技术，分别提出了两种新的高性能推理图卷积网络 HPI-GCN-RP 和 HPI-GCN-OP，其中 HPI-GCN-OP 在维持相同准确率的情况下，比 HD-GCN 快 4.5 倍，同时在两个基于骨架的动作识别数据集上实验表明了我们的方法的有效性。

    May, 2023

  • 骨架动作识别的反馈图卷积网络

    本文提出了反馈图卷积网络（FGCN）来进行骨架动作识别，FGCN 通过多阶段的时间采样策略和基于稠密连接的反馈图卷积模块，实现了全局空间 - 时间特征的建模，并独创性地提出了早期预测的概念来引导后续特征的学习，实验结果在三个数据集上表现出了最优的效果。

    Mar, 2020

  • 结构感知的人体动作生成

    提出了一种利用自注意机制自适应稀疏化完整动作图的 GCN 变体，以捕捉动作序列中的结构信息，在两个标准人类动作数据集上显示了优越性。

    Jul, 2020

  • 基于骨架的多流自适应图卷积网络动作识别

    本文提出了一种多流注意力增强的自适应图卷积神经网络 (MS-AAGCN)，用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构，并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息，结果在大规模数据集 NTU-RGBD 和 Kinetics-Skeleton 上都超过了现有技术水平。

    Dec, 2019