Dec, 2023

利用 Transformers 進行三維手部重建

PDF
TL;DR从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。
hand reconstruction3dtransformer-based architecturedata trainingdeep model
发现论文，激发创造
  • 4DHands: 使用 Transformer 重建 4D 交互手势

    通过 4DHands 方法，从单目输入中恢复互动手部网格及其相对运动，处理了自由手图像输入和两只手的位置关系的限制，并通过新颖的分词和特征融合策略提出了一种基于 Transformer 的架构。

    May, 2024

  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • 在 4D 中重建和跟踪人类的 Transformers 技术

    本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术，通过 transformerized 版本的 HMR 2.0 网络实现人体重建，使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。

    May, 2023

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 使用网格卷积进行单张图片的三维手部重建

    使用非线性潜在网格表示的手部形状和关节姿态，在照片上进行单目 3D 重建，该模型具有实时性能。

    May, 2019

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • 野外图像中的三维手部形状和姿态

    利用先前计算好的人工建模和先验知识，结合深度学习的方法实现了从 RGB 图像中预测手部形状和姿态，结果显示出在标准基准测试中表现出最新颖的 3D 姿态预测效果，同时在弱监督下训练的模型也能够很好的应用于在实际环境中的 3D 形状和姿态预测。

    Feb, 2019

  • 野外场景下基于弱监督网格卷积的手部重建

    本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构，大大优于最先进的方法，在野外基准测试中将误差减半。

    Apr, 2020

  • 使用 Transformer 进行端到端的人体姿势和网格重建

    本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

    Dec, 2020