Sep, 2021

实时三维手部网格重建中的精准对齐

PDF
TL;DR该论文提出了一种基于三个阶段的新型流程，通过联合阶段、网格阶段和细化阶段，实现准确的手部姿势和形状的 3D 网格重建，从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果，证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。
发现论文，激发创造
  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 从 RGB-D 输入实时联合跟踪手部操纵物体

    本文提出了一种实时的手和物体姿态联合追踪方法，利用一个单独的 RGB-D 相机，通过 3D GMM 算法和创新的正则化策略，同时解决了遮挡、快速运动和手与物体重合的问题，辅以判别式手部部分分类和物体分割，实现了实时追踪。实验结果表明，该方法具有速度、准确性和鲁棒性。

    Oct, 2016

  • 使用多阶段二分减速玻璃网络重建手部三维网格模型

    本文通过引入一个可学习的模型 BiHand，使用一种新颖的双向设计来进行 3D 手部估计和网格恢复，该模型可以在多项评估实验中展现出高准确度，对比现有的研究成果具有一定的优越性。

    Aug, 2020

  • 基于 RGB 图像的手部网格估计和个性化的身份识别

    本文提出了一个身份感知的手部三维网格估计模型，可以融入用户固有形状参数所表达的身份信息，并通过个性化流程来校准这些参数，从而在 AR/VR 领域中重构单眼 RGB 图像中的 3D 手模型。经过大规模公开数据集的实验证明了该方法的领先性能。

    Sep, 2022

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017

  • 通过神经渲染推动基于 RGB 的稠密三维手势姿势估计的发展

    采用紧凑的参数化 3D 手模型对单个 RGB 图像进行三维手模型估计，运用神经渲染、迭代测试和自我数据增强方法，并在三个基于 RGB 的基准测试中证明了优越性。

    Apr, 2019

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020