骨骼少样本动作识别的时空视角传输规划
本文提出了一种用于基于 3D 骨架的行为识别的 Few-shot Learning 流程,其中利用了 Dynamic Time Warping 方法,使用基于 Simple Spectral Graph Convolution 的时间块编码器进行序列编码,提出了一种基于相似性的损失函数,并在多个数据集上取得了最先进的结果。
Dec, 2021
基于关节时间和相机视角的对齐方法(JEANIE)用于骨骼序列对动作识别的支持查询序列进行时间视角对齐,实现了有监督和无监督助推学习融合,取得了最新的实验结果。
Feb, 2024
本文提出了一种针对同一过程(如人类动作)的时间序列(例如视频)的弱监督表征学习方法,通过对全局时间序列进行对齐,并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习,通过最优序列对齐进行嵌入网络的训练。通过大量实验表明,该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。
May, 2021
本文提出了一种新的方法,使用骨架序列(即人类骨架关节的 3D 轨迹)进行三维动作识别,并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。
Mar, 2017
提出了一种新的时空元组 Transformer(STTFormer)方法,该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题,在两个大型数据集上的表现优于现有技术方法。
Jan, 2022
本文提出了一种新的空时变换器网络(ST-TR),该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块(SSA)用于理解不同身体部位之间的帧内相互作用,而时间自我注意模块(TSA)用于建模帧间的相关性。两个模块在两个流网络中被结合使用,对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。
Dec, 2020
本论文提出了一种自监督学习的视频对齐框架,利用 2D 骨架热图作为输入,通过自身在空间和时间域内的自注意力机制来提取有效的时空和上下文特征,同时通过基于 2D 骨架的热图增强技术进行自监督学习,取得了比 CASA 更高的准确度和对缺失和噪声关键点更好的稳健性,在不同的细粒度人体活动理解任务中表现优于先前的方法,如阶段分类、阶段进展、视频对齐和细粒度帧检索。
May, 2023
本篇论文提出了 SloshNet,一个新的框架,重新审视少样本动作识别中的空间时间建模,并自动搜索低级和高级空间特征的最佳组合,同时利用 transformer 技术对全局和局部的时间关系进行建模,实现了对四种数据集的优秀结果。
Jan, 2023
本文提出了一种新的上下文感知自监督学习架构(CASA), 该架构基于现成的人体姿态估计器,以解决视频中人类动作时间对齐的问题。CASA 通过引入自注意力和交叉 - 注意机制,结合人类活动的时空上下文,有效地解决了时间间断性的问题,并通过 4D 姿势表示的新颖增强技术来增强其自监督学习方案,实验结果表明,在三个公共数据集上,CASA 方法显著提高了相位进度和 Kendall Tau 得分比之前的最先进方法。
Apr, 2022
通过整合空间关系和时间信息,本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT),并利用预训练模型进一步提升性能。
Aug, 2023