CVPRMar, 2022

空间时间并行变压器用于手臂动态估计

PDF
TL;DR该研究提出了一种基于 Spatial-Temporal Parallel Arm-Hand Motion Transformer (PAHMT) 的方法，来预测单目视频中的手臂和手的动态，并在不同的挑战性场景下表现出鲁棒性。
monocular videohand gesturesarm posesmotion capturepahmt
发现论文，激发创造
  • 针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

    通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

    Sep, 2022

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023

  • 4DHands: 使用 Transformer 重建 4D 交互手势

    通过 4DHands 方法，从单目输入中恢复互动手部网格及其相对运动，处理了自由手图像输入和两只手的位置关系的限制，并通过新颖的分词和特征融合策略提出了一种基于 Transformer 的架构。

    May, 2024

  • 生成层次时间变换器用于手势动作识别和运动预测

    提出一种新颖的框架，同时处理手势识别和 3D 未来手势预测，借助生成式 Transformer VAE 架构来联合捕捉两个方面，从而实现通过利用时间戳间观察到的短期手势和长期动作一致性，促进现实动作预测，确保手势姿势和动作的语义依赖和不同时间粒度的忠实表示。

    Nov, 2023

  • 通过双手解耦进行身体动力学生成的多样化三维手势预测

    本文介绍一种新型双手解缠的两阶段三维手势生成方法，以从身体动态中实现自然且多样化的三维手势预测，并通过渐进式采样进一步多样化手势预测。

    Mar, 2023

  • 基于状态空间变换器的不确定性感知的视角 3D 手部轨迹预测

    本文提出了一个基于注意力机制和自然不确定性状态空间模型的不确定性感知状态空间 Transformer 模型，来精确预测在一个第一人称视角早期 RGB 视频中 3D 空间下的手部运动轨迹，进而验证了该模型在 2D 和 3D 轨迹预测上的优越性。

    Jul, 2023

  • 利用 Transformers 進行三維手部重建

    从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。

    Dec, 2023

  • HMP：从视频中估计姿态和形状的手部运动先验

    通过开发一种特定于手部的生成运动先验，并采用潜在优化方法，在视频中实现了 3D 手部运动估计，提高了性能，并在遮挡情况下产生稳定、时间一致的结果，超过了传统的单帧方法。

    Dec, 2023