Jul, 2019

从单一深度图中回归手部网格顶点的双网格网络

PDF
TL;DR本文提出了一种通过从单个深度图中回归网格模型顶点坐标来恢复手部密集 3D 表面的方法，使用两阶段 2D 完全卷积网络架构和可微分算子来实现，能够通过自我监督实现更好的效果，表现优异。
hand 3d surface recoverymesh modelconvolutional networkkey point localizationself-supervision
发现论文，激发创造
  • HandVoxNet：一种基于深度体素网络的单深度图像三维手部形态与姿态估计方法

    通过弱监督学习的 3D 卷积网络结构，结合两种不同的手部形状表示，将手部表面映射到体素化手型图形之中，得到比现有手部姿态估计方法更加准确的结果，并在真实数据上通过体素化深度图扩充策略使得模型更具泛化性能。

    Apr, 2020

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 卷积网格回归实现单张图片人体形状重建

    本文解决从单张图像中估计 3D 人体姿态和形状的问题，提出在保留 SMPL 模板网格拓扑的同时，使用 Graph-CNN 直接回归网格顶点的三维位置，与基于模型参数回归的可比较基线相比，我们的方法具有更好的效果。

    May, 2019

  • 基于金字塔深度融合网络的 RGB-D 图像双手重建

    本文提出了一种综合使用 RGB-D 图像、深度学习网络以及多层融合策略的手部姿态估计方法，模型能通过 GCN-based 解码器来恢复精细的手部 3D 网格结构，在多项公共数据集上的性能表现优于其他已有方法。

    Jul, 2023

  • V2V-PoseNet：从单深度图中准确预测三维手部和人体姿态的体素到体素预测网络

    本文提出了一种基于 3D CNN 的手部和人体姿态估计方法，通过使用立方体栅格并为每个关键点估计每个体素的可能性来将问题转化为体素到体素的预测，并克服了 2D 深度图中的透视畸变和非线性映射等缺点，实现了较高的准确性和实时性

    Nov, 2017

  • HumanMeshNet：人类的多边形网格恢复

    提出一种新模型 HumanMeshNet，它在多分支、多任务设置下，通过回归模板网格的顶点以及使用三维骨架位置进行规则化，隐式地学习了网格表示，从而实现虚拟、增强现实平台、动画行业、电子商务领域等方面的实时重建，并在三个公开数据集上展示了可比较的表面精度和关节误差性能。

    Aug, 2019

  • MobRecon：从单目图像中重建手部网格模型的移动设备友好算法

    提出了一种单视图手部网格重建框架，采用 2D 编码和 3D 解码，结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度，并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明，该框架达到了优越的重建精度和时间上的一致性，具有超高的推理速度。

    Dec, 2021

  • 通过双重噪声估计实现单目三维手部网格恢复

    基于参数模型的双重噪声估计方法在 3D 手部姿势和形状估计中取得了显著的进展，可以生成与图像对齐的高质量 3D 手部网格。

    Dec, 2023

  • 野外场景下基于弱监督网格卷积的手部重建

    本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构，大大优于最先进的方法，在野外基准测试中将误差减半。

    Apr, 2020

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019