基于谱图的透视图双手重建的 Transformer 网络：利用多视角彩色图像

ICCVAug, 2023

基于谱图的透视图双手重建的 Transformer 网络：利用多视角彩色图像

Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction using Multi-View Color Images

PDF

Tze Ho Elden Tse, Franziska Mueller, Zhengyang Shen, Danhang Tang, Thabo Beeler...

TL;DR我们提出了一个基于 Transformer 的框架，可以从多视角的 RGB 图像中重建两只高保真度的手。通过对大规模合成数据集和真实数据集进行实验，我们展示了该框架能够产生逼真的双手重建效果，并展示了合成训练模型在真实数据上的泛化性能，以及在实时增强现实 / 虚拟现实应用中的应用潜力。

Abstract

We propose a novel transformer-based framework that reconstructs two high fidelity hands from multi-view RGB images. Unlike existing hand pose estimation methods, where one typically trains a deep network to regr

transformer-based framework hand pose estimation egocentric view multi-view image feature fusion real-time ar/vr applications

发现论文，激发创造

针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

Sep, 2022

单目 RGB 相机空间下的三维手部网格恢复

利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

May, 2024

自我中心 RGB-D 图像中的 3D 手势姿态检测

本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

Nov, 2014

从主观立体视频中感知 3D 人体姿势

通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

Dec, 2023

从单一 RGB 图像中估计 3D 手型和姿势

本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

Mar, 2019

使用单目 RGB 进行双手全局 3D 姿态估计

本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

Jun, 2020

我的视角，我的双手：准确的自视角二维手势姿态和动作识别

通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

Apr, 2024

单眼单视角到双视角的视角自适应用于主观性 3D 手势姿态估计

该研究论文通过提出一种新颖的 Single-to-Dual-view 适应（S2DHand）解决方案，将单视图估计器无监督地适应双视图，通过使用两个立体约束条件生成伪标签，可在不同相机设置下应用于任意双视图对，显著改善了在数据集内和数据集间的任意相机对上的表现，并超过了现有的适应方法。

Mar, 2024

构建时空 Transformer 用于自我中心三维姿态估计

本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

Jun, 2022

基于模型的自监督学习实现的 3D 手部重建

本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

Mar, 2021