基于时空解耦对比学习的骨骼人体动作识别
该研究采用一种名为 SCD-Net 的新型对比学习框架,通过引入解耦模块以及融合空间和时间领域的特征提取器,从而更好地编码骨架序列,提取明确的线索。通过结构约束改进的掩蔽策略增强背景关联,将掩蔽图像建模的最新发展应用于 SCD-Net,实验结果证明了该方法的有效性,明显优于现有的最先进方法。
Sep, 2023
本文提出了一个辅助的特征细化头(FR Head),通过空间 - 时间分解和对比特征细化来识别骨架的歧义样本,从而强化对多层的监督,并在多个数据集上进行了广泛的实验,得到了与最先进方法相竞争的结果。
Mar, 2023
本论文提出了一种基于骨架的行为识别的自监督学习方法,通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证,并在多个下游任务中实现了最新水平。
Aug, 2021
提出一种基于关注机制的对比学习框架,用于骨架序列的表征学习,因为人体动作特征的语义区分常常由局部身体部位表示,如腿部或手部等,这对于基于骨架的动作识别是有优势的,并且该方法通过学习软注意力蒙版特征和生成大量的对比对来增强对局部特征相似性的学习,从而提高了基于骨架的动作表征的准确度。
May, 2023
提出一种新型的解耦空 — 时间注意力网络 (DSTA-Net) 用于基于骨架的动作识别,该网络只涉及注意块,无需知道关节位置或关节间的相互连接,通过使用解耦技术和空 — 时间注意力,能够更好地挖掘骨架数据的时间和空间特征,并在四个具有挑战性的数据集上实现最先进的性能表现。
Jul, 2020
本研究提出了一种新的基于骨架的动作识别模型,包括空间推理网络(SRN)和时间堆叠学习网络(TSLN),SRN 通过残差图神经网络捕获每帧内的高级空间结构信息,而 TSLN 通过多个跳跃剪辑 LSTM 的组合模拟骨架序列的详细时间动态,最终实验结果表明与最先进的方法相比,该方法表现出更好的表现。
May, 2018
本文提出了一种基于骨骼的行为识别的一般性逐层一致对比学习框架 (HiCLR),并探索了使用强数据增强进行对比学习的潜力,同时提出了一个不对称损失以保证其鲁棒性,实验表明该方法在 NTU60、NTU120 和 PKUMMD 等三个大型数据集上优于现有技术。
Nov, 2022
本文提出了一种基于对比学习的无监督骨架动作识别方案,其中包括自适应的对比学习方法和基于拓扑信息的骨架混合数据增强策略,证明该方案在多个数据集上实现了最先进的性能。
Jul, 2022
本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型,用于从骨架数据中识别人类动作,实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。
Nov, 2016
在长时间动作序列中,通过有效地建模具有辨别性的时空信息对活动进行分割非常重要。然而,我们观察到现有方法在弱时空建模能力上存在局限,原因是存在两种解耦建模方式:(i)级联相互作用耦合了空间和时间建模,导致长序列上的动作建模过于平滑;(ii)联合共享的时间建模采用共享权重来建模每个关节,忽略了不同关节的不同动作模式。我们提出了一种解耦的时空框架(DeST)来解决上述问题。首先,我们解耦级联时空交互,避免堆叠多个时空块,并实现足够的时空交互。具体而言,DeST 执行一次统一的空间建模,并将空间特征分成不同的子特征群组,然后与不同层的时间特征自适应交互。由于不同的子特征包含不同的空间语义,模型可以在每一层学习到最佳的交互模式。同时,受到不同关节以不同速度移动的事实的启发,我们提出了关节解耦的时间建模,它使用独立的可训练权重来捕捉每个关节的独特时间特征。在不同场景的四个大规模基准测试中,DeST 在计算复杂度更低的情况下明显优于当前最先进的方法。
Dec, 2023