无监督骨骼动作学习的全局 - 局部运动转换器
本文提出一种新颖的基于 Transformer 的架构,用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入,通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。
Apr, 2020
提出了一种新的时空元组 Transformer(STTFormer)方法,该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题,在两个大型数据集上的表现优于现有技术方法。
Jan, 2022
本文提出了一种新的空时变换器网络(ST-TR),该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块(SSA)用于理解不同身体部位之间的帧内相互作用,而时间自我注意模块(TSA)用于建模帧间的相关性。两个模块在两个流网络中被结合使用,对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。
Dec, 2020
Skeleton2vec 是一个采用自注意机制和运动感知的管道掩蔽策略的自监督学习框架,用于骨骼动作表示学习,实验结果表明其在 NTU-60、NTU-120 和 PKU-MMD 数据集上比现有方法表现更好,达到最先进水平。
Jan, 2024
本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法,使用自注意力机制成功提取了骨骼运动及其相关性的信息,与其他同类算法相比在多个大规模数据集上表现出更好的精度。
Aug, 2020
我们提出了一种适用于多人 3D 运动轨迹预测的新型框架,使用包含局部范围编码器和全局范围编码器的 Multi-Range Transformers 模型,可以实现不同人之间的社交互动,且在长期运动预测方面优于现有方法,甚至可以自动将人分成不同的互动组以预测 15 人的运动轨迹。
Nov, 2021
通过引入辅助任务的模型学习框架,本文提出了一种新的方向,即通过捕捉时空依赖关系以实现坐标恢复,以及通过辅助任务促使辅助自适应变压器更好地学习特征,并通过实验证明了该方法的优越性。
Aug, 2023
本文提出了一个 Motion TRansformer (MTR) 框架,将运动预测看作全局意向定位和局部运动细化的联合优化问题,通过可学习的少量运动查询对来引入空间意向先验,实现了更好的多模态预测。实验表明,该方法在多个运动预测挑战上均达到了最先进的水平,并在 Waymo 开放式运动数据集的排行榜上排名第一。
Sep, 2022
本文旨在解决人体运动合成方面存在的挑战,提出了一种两阶段活动生成方法,通过学习合成稀疏的运动轨迹和生成密集的运动轨迹来实现长期人体运动轨迹的合成,并通过多种量化评估指标证明该方法优于 SOTA 方法。
Dec, 2020