ECCVSep, 2022

基于 RGB 图像的手部网格估计和个性化的身份识别

PDF
TL;DR本文提出了一个身份感知的手部三维网格估计模型，可以融入用户固有形状参数所表达的身份信息，并通过个性化流程来校准这些参数，从而在 AR/VR 领域中重构单眼 RGB 图像中的 3D 手模型。经过大规模公开数据集的实验证明了该方法的领先性能。
发现论文，激发创造
  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 实时三维手部网格重建中的精准对齐

    该论文提出了一种基于三个阶段的新型流程，通过联合阶段、网格阶段和细化阶段，实现准确的手部姿势和形状的 3D 网格重建，从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果，证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。

    Sep, 2021

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • 基于 RGB 和深度图的特权学习 3D 手势姿态估计

    本篇论文提出了一种从 RGB 图像中估计手部姿势的方法，该方法在训练时利用了相应的深度图像，使用深度数据来初始化深度网络、约束 RGB 网络权重、及抑制背景区域反应，使用 RGB 和深度图像的配对数据，训练 RGB 网络以学习深度网络中的中层特征，该方法在三个公共数据集上的实验结果表明，与使用 RGB 图像输入的其他方法相比，性能更优越。

    Nov, 2018

  • 野外实时 3D 手势估计的单帧 RGB 图像方法

    使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

    Dec, 2017

  • 通过神经渲染推动基于 RGB 的稠密三维手势姿势估计的发展

    采用紧凑的参数化 3D 手模型对单个 RGB 图像进行三维手模型估计，运用神经渲染、迭代测试和自我数据增强方法，并在三个基于 RGB 的基准测试中证明了优越性。

    Apr, 2019

  • 从单张 RGB 图像学习估计 3D 手部姿势

    本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

    May, 2017

  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021