Mar, 2021

AdaSGN：适应联合数量和模型大小的高效骨骼动作识别

HTML
PDF
TL;DR本研究提出了一种名为AdaSGN的新方法，可以通过在运行时自适应地控制骨架节点输入数量来降低推断过程的计算成本。此外，它还可以自适应选择每个样本的最佳模型大小，以在准确性和效率之间实现更好的平衡。实验结果表明，与基线方法相比，AdaSGN在NTU-60，NTU-120和SHREC三个数据集上实现了更低的GFLOPs，同时实现了可比甚至更高的性能。
发现论文，激发创造
  • 基于语义引导的神经网络在骨架人体动作识别中的高效应用

    该研究提出了一个基于骨骼的动作识别模型--SGN，通过包含模型中的关节高级语义，以及通过两个模块分层建模关节之间的关系，该模型在模型尺寸较小的情况下，达到了目前最先进的性能水平。

    Apr, 2019

  • 基于骨架的动作识别模型的优化：更小、更快和更好

    在骨架动作识别领域，提出了一种双特征双运动网络(DD-Net)，其采用轻量级网络结构，利用鲁棒性特征，在SHREC和JHMDB数据集上实现了最先进的性能表现。

    Jul, 2019

  • 基于骨架的多流自适应图卷积网络动作识别

    本文提出了一种多流注意力增强的自适应图卷积神经网络(MS-AAGCN)，用于基于骨架的动作识别。该模型可以端到端地学习图的拓扑结构，并用空时通道注意模块提高模型注意到重要关节、帧和特征。多流框架同时建模关节和骨骼信息及其运动信息，结果在大规模数据集NTU-RGBD和Kinetics-Skeleton上都超过了现有技术水平。

    Dec, 2019

  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在NTU-RGB + D和Kinetics-Skeleton数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 基于图卷积的骨架动作识别基准模型：更强，更快，更易理解

    本论文提出一种基于图卷积网络（GCN）的高效却强大的基线模型，该模型融合了多输入分支（MIB）、残差 GCN（ResGCN）和全局部分注意力机制（PartAtt）等三个关键组件，能够更加有效地提取具有区分度的骨骼动作特征，并在大规模数据集上取得了较高的分类性能比其他最先进的方法更好的性能。

    Oct, 2020

  • 基于骨架的动作识别：构建更强更快的基准线

    研究了基于骨架动作识别中如何提取骨架联结的区分特征所面临的问题，提出了一种基于图卷积网络的高效的GCN基线。通过提出的复合扩展策略，在NTU RGB+D 60和120数据集上，其EfficientGCN-B4基线性能超越其他SOTA模型，且模型规模更小、训练速度更快。

    Jun, 2021

  • UNIK：一种用于实际场景的基于骨架的动作识别统一框架

    该研究介绍了一种基于骨架数据的动作识别方法UNIK，通过优化依赖矩阵并使用多头注意机制，实现了对于跨数据集的泛化能力，实验表明在多个数据集上，该方法均表现出超越于现有技术的表现。

    Jul, 2021

  • 基于骨架的动作识别的高性能推断图卷积网络

    介绍了通过重参数化和超参数化技术，分别提出了两种新的高性能推理图卷积网络 HPI-GCN-RP 和 HPI-GCN-OP，其中 HPI-GCN-OP 在维持相同准确率的情况下，比 HD-GCN 快 4.5 倍，同时在两个基于骨架的动作识别数据集上实验表明了我们的方法的有效性。

    May, 2023

  • SkeletonMAE：基于图的骨架序列预训练掩蔽自编码器

    本文提出了一种高效的骨架序列学习框架，名为Skeleton Sequence Learning（SSL）。通过将骨架关节序列嵌入图卷积网络（GCN）并基于先验人体拓扑知识重构遮蔽骨架关节和边，我们构建了一个不对称的基于图的编码器-解码器预训练架构，命名为SkeletonMAE，然后将预训练的SkeletonMAE编码器与时空表示学习（STRL）模块集成到SSL框架中。广泛的实验结果表明，我们的SSL在不同数据集上具有良好的泛化能力，在FineGym、Diving48、NTU 60和NTU 120数据集上优于最先进的自监督骨骼动作识别方法，同时与某些完全监督方法具有可比较的性能。

    Jul, 2023

  • InfoGCN++: 基于骨骼的在线人体动作识别的学习表示预测未来

    InfoGCN++ 是 InfoGCN 的创新扩展，专门用于在线基于骨骼的动作识别。它通过学习当前和预期未来的动作，基于观察到的动作来管理预测问题，采用神经常微分方程的方法来有效建模隐藏状态的连续演变，在三个基于骨骼的动作识别基准测试中表现出卓越的性能，从而在实时动作识别应用中具有重要的潜力。

    Oct, 2023