ICCVJul, 2023

基于状态空间变换器的不确定性感知的视角 3D 手部轨迹预测

PDF
TL;DR本文提出了一个基于注意力机制和自然不确定性状态空间模型的不确定性感知状态空间 Transformer 模型，来精确预测在一个第一人称视角早期 RGB 视频中 3D 空间下的手部运动轨迹，进而验证了该模型在 2D 和 3D 轨迹预测上的优越性。
hand trajectory forecastingegocentric views3d real-world applicationsattention mechanismuncertainty-aware state space transformer
发现论文，激发创造
  • 针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

    通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

    Sep, 2022

  • UmeTrack: VR 统一多视角端到端手部跟踪

    本文提出了一种多视角、多帧手部跟踪的统一端到端可微框架，直接预测世界空间中的三维手部姿态，并演示了将框架扩展到降噪和捏预测等下游任务的好处。实验证明，该系统在处理各种具有挑战性的交互动作方面表现出色，并已成功应用于实时虚拟现实应用。

    Oct, 2022

  • 空间时间并行变压器用于手臂动态估计

    该研究提出了一种基于 Spatial-Temporal Parallel Arm-Hand Motion Transformer (PAHMT) 的方法，来预测单目视频中的手臂和手的动态，并在不同的挑战性场景下表现出鲁棒性。

    Mar, 2022

  • 构建时空 Transformer 用于自我中心三维姿态估计

    本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

    Jun, 2022

  • 视频中三维手姿和网格估计的时空感知自监督学习

    本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

    Dec, 2020

  • EMAG: 自我动作感知的、通用化的从第一人称视频中预测二维手势

    从利用自我中心视频预测未来人类行为具有挑战性但又至关重要的任务入手，本文提出了一种理解人类意图的自我中心视频下的手预测方法，该方法解决了自我中心视频中的自我运动对未来帧中的 2D 手位置的严重影响以及基于视觉信息预测过度拟合背景或场景纹理的问题，并在大规模数据集上验证了其有效性。

    May, 2024

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • 从自我中心视角视频中预测手部动作和交互热点

    本研究提出一种通过 Object-Centric Transformer 模型来预测在 egocentric 视频中未来的手部和物品相互作用的方法，并使用概率框架来处理不确定性。在实验中，我们对 Epic-Kitchens-55、Epic-Kitchens-100 和 EGTEA Gaze+ 数据集进行了测试，并显示 OCT 较现有方法显著优越。

    Apr, 2022

  • 基于谱图的透视图双手重建的 Transformer 网络：利用多视角彩色图像

    我们提出了一个基于 Transformer 的框架，可以从多视角的 RGB 图像中重建两只高保真度的手。通过对大规模合成数据集和真实数据集进行实验，我们展示了该框架能够产生逼真的双手重建效果，并展示了合成训练模型在真实数据上的泛化性能，以及在实时增强现实 / 虚拟现实应用中的应用潜力。

    Aug, 2023