无监督骨骼动作学习的全局-局部运动转换器
本研究设计了一种全局上下文感知注意 LSTM 网络 (GCA-LSTM) 用于基于骨骼的动作识别,实现了对每个骨架序列的每帧中信息的有选择性的聚焦,具有递归注意机制的 GCA-LSTM 网络的性能优于其他模型,并在评估使用的五个骨骼基础动作识别数据集上实现了最先进的性能。
Jul, 2017
本文提出了一种新颖的时间姿势序列建模框架,可以将3D人体骨骼关节的动态嵌入到一个连续的潜在空间中,并应用于细粒度动作识别。 通过Encoder GAN和PoseRNN组合实现了一个无监督的骨架姿势重构和自编码器架构,该架构在SBU交互数据集上表现出了先进的传输性能和姿势插值。
Dec, 2018
本研究提出了一种新颖的Skeleton-joint Co-attention循环神经网络(SC-RNN)来捕捉关节间的空间一致性以及骨架之间的时间演化,从而提高人体运动预测的准确性。通过实验证明,该方法优于相关方法。
Sep, 2019
我们提出了一种新颖的无监督骨架动作识别系统,该系统基于编码器-解码器递归神经网络,可以无需提供任何标签或摄像头深度输入,并可在各维度的身体关键点(2D或3D)和附加提示描述移动的情况下操作,并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能,且与有监督骨架动作识别表现相似。
Nov, 2019
本文提出了一种新的框架来处理机器人导航中预测人类动态的问题,该框架将人类运动(或轨迹)和骨骼姿态预测这两个任务统一起来,并考虑到了场景和社交上下文等多种因素,最终在两个社交数据集上表现优异。
Jul, 2020
本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法,使用自注意力机制成功提取了骨骼运动及其相关性的信息,与其他同类算法相比在多个大规模数据集上表现出更好的精度。
Aug, 2020
本文提出了一种新的空时变换器网络(ST-TR),该网络利用Transformer自我注意机制对3D骨架中的关节之间的依赖关系进行建模。空间自我注意模块(SSA)用于理解不同身体部位之间的帧内相互作用,而时间自我注意模块(TSA)用于建模帧间的相关性。两个模块在两个流网络中被结合使用,对NTU-RGB + D 60和NTU-RGB + D 120上的相同输入数据优于同类基准模型。
Dec, 2020
该研究提出了一种使用超图模型的多阶多模态转换器来识别骨骼动作,并包括更高级别的运动模式及可训练的网络,在骨骼活动识别中优于GCN、transformer和超图等现有模型。
Mar, 2023
我们通过引入图卷积网络(GCN)和时序注意力转换器,提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络,用于骨骼动作识别和特征提取。
Dec, 2023
提出了一种名为SkateFormer的新方法,通过将关节和帧基于不同类型的骨骼时空关系进行划分,并在每个划分中进行骨骼时空自注意力计算(Skate-MSA),从而在行动识别中有选择地关注关键关节和帧,提高了效率。在各种基准数据集上进行的大量实验证明,SkateFormer优于最近的最先进方法。
Mar, 2024