ECCVJul, 2022

层次自监督变压器用于人体骨骼表示学习

PDF
TL;DR本研究提出一种基于层次 Transformer 的骨架序列编码器的自监督层次预训练方案 (Hi-TRS) 来捕捉视频级别、片段级别和帧级别的空间、短时和长时时间依赖关系，并在行动识别、行动检测和运动预测等骨架下游任务中实现了超越当前最好的性能水平。
self-supervised pre-trainingskeleton sequence representation learninghierarchical transformer-based skeleton sequence encoderaction recognitionmotion prediction
发现论文，激发创造
  • Skeleton2vec：一种具有上下文化目标表示的自监督学习框架，用于骨骼序列

    Skeleton2vec 是一个采用自注意机制和运动感知的管道掩蔽策略的自监督学习框架，用于骨骼动作表示学习，实验结果表明其在 NTU-60、NTU-120 和 PKU-MMD 数据集上比现有方法表现更好，达到最先进水平。

    Jan, 2024

  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • Skeleton-Contrastive 3D 行为表示学习

    本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。

    Aug, 2021

  • 使用骨骼云彩色化进行自监督的 3D 动作表示学习

    本文提出了一种自监督的方法，设计了一种新颖的骨骼云着色技术，并通过骨骼序列数据的无标签学习学习骨骼的空间和时态表示。该方法在不同配置下训练的线性分类器上评估，并在多个数据集上进行了广泛的实验。结果表明，该方法在无监督和半监督 3D 动作识别方法中取得了很大的提升，并且在监督 3D 动作识别方面也取得了竞争性能。

    Apr, 2023

  • MS$^2$L：基于骨架的动作识别的多任务自监督学习

    本文探讨了基于自监督学习的骨骼动作识别中的表征学习问题，提出了一种多任务自监督学习的方法，包括运动预测、拼图识别和对比学习等方法。实验表明该方法在不同配置下的动作分类器上表现出优异的性能。

    Oct, 2020

  • 自主学习的骨架动作表示学习：基准及更多

    本文首次对基于骨架的自监督动作表征学习进行了全面调查和综述，将现有研究根据预训练方法学科进行分类，提出了一种综合多个先验任务的新型骨架自监督学习方法，大大提高了骨架模型在各种下游任务中的泛化性能。在三个大规模数据集上进行的广泛实验证明，该方法在识别、检索、检测和少样本学习等各种下游任务中都取得了卓越的泛化性能。

    Jun, 2024

  • 电影理解的分层自监督表征学习

    本文介绍了一种面向电影理解的自监督视频学习方法，采用分层的预训练策略，在低层进行对比学习，高层则采用事件遮罩预测任务来预训练视频上下文模型，并在 VidSitu 基准测试中表现出更好的性能。同时，在 LVU 任务中，我们还展示了上下文化事件特征的有效性。

    Apr, 2022

  • 一种用于三维动作识别的骨架序列新表示方法

    本文提出了一种新的方法，使用骨架序列（即人类骨架关节的 3D 轨迹）进行三维动作识别，并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。

    Mar, 2017

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020