Mar, 2024

技术报告：用于学习鳟鱼幼虫行为潜在嵌入的蒙版骨骼序列建模

PDF
TL;DR介绍了一种用于提取幼年斑马鱼行为中的潜在嵌入的新型自监督学习方法，该方法借鉴了图像处理中的 Masked Autoencoder 和自然语言处理中的 GPT 技术，并提出了一种基于 Transformer-CNN 的架构，Sequence Spatial-Temporal Transformer（SSTFormer），用于捕捉不同关节间的帧间关联。
self-supervised learninglatent embeddingslarval zebrafishsequence spatial-temporal transformertemporal feature aggregation
发现论文，激发创造
  • SkeletonMAE：基于图的骨架序列预训练掩蔽自编码器

    本文提出了一种高效的骨架序列学习框架，名为 Skeleton Sequence Learning（SSL）。通过将骨架关节序列嵌入图卷积网络（GCN）并基于先验人体拓扑知识重构遮蔽骨架关节和边，我们构建了一个不对称的基于图的编码器 - 解码器预训练架构，命名为 SkeletonMAE，然后将预训练的 SkeletonMAE 编码器与时空表示学习（STRL）模块集成到 SSL 框架中。广泛的实验结果表明，我们的 SSL 在不同数据集上具有良好的泛化能力，在 FineGym、Diving48、NTU 60 和 NTU 120 数据集上优于最先进的自监督骨骼动作识别方法，同时与某些完全监督方法具有可比较的性能。

    Jul, 2023

  • Skeleton2vec：一种具有上下文化目标表示的自监督学习框架，用于骨骼序列

    Skeleton2vec 是一个采用自注意机制和运动感知的管道掩蔽策略的自监督学习框架，用于骨骼动作表示学习，实验结果表明其在 NTU-60、NTU-120 和 PKU-MMD 数据集上比现有方法表现更好，达到最先进水平。

    Jan, 2024

  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • 基于自监督的部分时空骨骼序列动作表示学习

    本研究提出了一种利用部分骨骼序列的局部关系的 Partial Spatio-Temporal Learning（PSTL）框架，并采用独特的时空屏蔽策略构建负样本无人机结构。该方法在 NTU-60、NTU-120 和 PKU-MMD 等基准测试中均取得了 SOTA 表现，并在实际评估中验证了方法的鲁棒性。

    Feb, 2023

  • 基于运动捕捉的动作识别的时空网格变换器（STMT）

    本文提出一种利用 Spatial-Temporal Mesh Transformer（STMT） 直接对网格序列进行建模的方法，通过使用层次 Transformer 结构和自监督任务来实现骨架表示和点云表示无法达到的以空间 - 时间域的非局部关系为基础的人类动作识别，实验结果表明该方法在 MoCap 基准测试上表现卓越。

    Mar, 2023

  • 层次自监督变压器用于人体骨骼表示学习

    本研究提出一种基于层次 Transformer 的骨架序列编码器的自监督层次预训练方案 (Hi-TRS) 来捕捉视频级别、片段级别和帧级别的空间、短时和长时时间依赖关系，并在行动识别、行动检测和运动预测等骨架下游任务中实现了超越当前最好的性能水平。

    Jul, 2022

  • 超越骨骼：一体化潜像映射的连贯 4D 序列生成

    提出了一种新框架，能够根据给定条件下低维空间中的形状和颜色信息的动态演化，生成连贯的 4D 序列。实验证明，该方法在生成具有颜色和 4D 网格动画的高质量 3D 形状方面具有显著优势。

    Mar, 2024

  • 基于骨架的动作识别中的时空元组变换

    提出了一种新的时空元组 Transformer（STTFormer）方法，该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题，在两个大型数据集上的表现优于现有技术方法。

    Jan, 2022

  • 一种用于三维动作识别的骨架序列新表示方法

    本文提出了一种新的方法，使用骨架序列（即人类骨架关节的 3D 轨迹）进行三维动作识别，并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。

    Mar, 2017