胶囊自编码器实现无监督运动表征学习
本文提出了一种无监督表征学习方法,可以紧凑地编码视频中的运动依赖。利用RNN Encoder-Decoder框架预测序列化的原子级3D流,以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。
Jan, 2017
本文提出了一种新颖的动作序列生成方法MT-VAE,它可以利用动作序列之间的转换关系,学习运动方式的特征嵌入和运动方式之间的特征变换,从而生成多样性且逼真的面部和全身运动,并展示了与类比运动传递和视频合成相关的应用。
Aug, 2018
提出了一种名为SkeleMotion的骨骼图像表示法,能够更好地捕捉行为中所涉及的长程关节交互和过滤杂乱运动值,并在NTU RGB+D 120数据集上优于现有技术,在3D人体动作识别方面取得了成功。
Jul, 2019
我们提出了一种新颖的无监督骨架动作识别系统,该系统基于编码器-解码器递归神经网络,可以无需提供任何标签或摄像头深度输入,并可在各维度的身体关键点(2D或3D)和附加提示描述移动的情况下操作,并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能,且与有监督骨架动作识别表现相似。
Nov, 2019
本论文提出了一种新的transformer模型,旨在实现对骨架运动序列的无监督学习。该模型结合了全局和局部注意机制,通过新的预训练策略,成功地学习了局部和全局的内容,并在测试中显示出了优异的性能。
Jul, 2022
本文提出了一种高效的骨架序列学习框架,名为Skeleton Sequence Learning(SSL)。通过将骨架关节序列嵌入图卷积网络(GCN)并基于先验人体拓扑知识重构遮蔽骨架关节和边,我们构建了一个不对称的基于图的编码器-解码器预训练架构,命名为SkeletonMAE,然后将预训练的SkeletonMAE编码器与时空表示学习(STRL)模块集成到SSL框架中。广泛的实验结果表明,我们的SSL在不同数据集上具有良好的泛化能力,在FineGym、Diving48、NTU 60和NTU 120数据集上优于最先进的自监督骨骼动作识别方法,同时与某些完全监督方法具有可比较的性能。
Jul, 2023
Skeleton2vec是一个采用自注意机制和运动感知的管道掩蔽策略的自监督学习框架,用于骨骼动作表示学习,实验结果表明其在NTU-60、NTU-120和PKU-MMD数据集上比现有方法表现更好,达到最先进水平。
Jan, 2024
通过边界内功夫解码的无监督预训练框架,将基于骨骼的运动序列分割为语义上有意义的预操作片段,通过对少量注释数据进行微调,我们展示了远远超过SOTA方法的结果。
Mar, 2024
提出了一种名为SkateFormer的新方法,通过将关节和帧基于不同类型的骨骼时空关系进行划分,并在每个划分中进行骨骼时空自注意力计算(Skate-MSA),从而在行动识别中有选择地关注关键关节和帧,提高了效率。在各种基准数据集上进行的大量实验证明,SkateFormer优于最近的最先进方法。
Mar, 2024
本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述,将现有研究根据预训练方法学科进行分类,提出了一种综合多个先验任务的新型骨架自监督学习方法,大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明,该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。
Jun, 2024