深度视频中的多模态多部分学习与动作识别
本文提出一种新的深度自编码器共享特定特征分解网络,将多模态信号分解成一系列组件,进而结合特征结构提出了一种结构化稀疏学习机以获得更好的分类性能,实验证明该方法在动作识别方面最先进。
Mar, 2016
本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题,提出了一种多任务自监督学习的方法,包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。
Oct, 2020
本研究提出了一种基于 3D 流的增量二级空间注意机制,通过骨骼域引导,强调靠近身体关节区域的运动特征及其信息性,并提出了扩展的深度骨骼模型,用于学习最具有判别力的动作运动动力学,从而评估每个关节的信息性得分,并采用两个模型之间的后期融合方案来学习高水平的跨模态相关性,实验结果在当前最大和最具挑战性的数据集 NTU RGB+D 上表明,所提出的方法的有效性达到了最先进的水平。
Jun, 2023
本文提出了一种基于关节的动作识别模型,使用共享的运动编码器从每个关节分别提取运动特征,再通过联合推理的方式进行识别,同时引入了选定更具判别性关节的加权计算机制,关节对比损失技巧,以及基于几何感知的数据增强技术等方法,经实验证明,在 JHMDB,HMDB,Charades,AVA 动作识别数据集上,以及 Mimetics 数据集上,相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理,以进一步提高性能。
Oct, 2020
通过构建表达力强的组合行为模型,模拟视频中动作实例的时空组合,采用弱监督学习算法,识别行为的潜在结构,最终实验结果表明该方法在动作识别方面的表现优于竞争方法。
Feb, 2015
为解决低质量骨架动作识别问题,本文提出了一个通用的知识蒸馏框架,利用师生模型结构和基于部分的骨架匹配策略,通过多样本对比损失实现从高质量到低质量骨架的知识迁移,进而训练出可以处理低质量骨架的学生模型。实验证明了该知识蒸馏框架的有效性。
Apr, 2024
本文提出了一种新的基于骨架的动作分类方法,使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式,并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征,实验证明该方法在三个大规模数据集上取得了最先进的性能。
Aug, 2021
本文提出了一种基于人体关节点的动作识别的新层次模型,可以对视频中的复杂动作进行分类,并对组成复杂动作的原子动作进行时空注释。该模型具有自动发现主动体部的功能,联合学习动作提取和视觉可变性的灵活表示,以及去除空闲或无信息体部的机制等三个关键新颖性,在多个动作识别基准测试中表现优异。
Jun, 2016
本文介绍了基于多人骨骼的人类动作识别的新方法,利用多尺度时空图卷积网络提取骨骼特征,用多层感知器嵌入参考人和其他人之间的距离值,并通过特征融合和分类得出在 HiEve 数据集上超越其他技术的最佳性能。
Nov, 2020