May, 2024

单目 RGB 相机空间下的三维手部网格恢复

PDF
TL;DR利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。
virtual realityaugmented realitygesture controlhuman-computer interactionspatial prediction
发现论文，激发创造
  • 通过语义聚合和自适应二维 - 一维配准恢复相机空间手部网格模型

    该研究介绍了一种利用已知关节点之间语义关系和 1D 投影来恢复单个 RGB 图像的相机空间 3D 手部网格的方法，并在流行的数据集上展示了该方法在根相对网格恢复和根恢复方面的最新成果。

    Mar, 2021

  • 从单目 RGB 图像恢复端到端的手部网格

    本文提出了 HAnd Mesh Recovery (HAMR) 框架，通过参数化通用 3D 手模型的形状和相对 3D 关节角度，提供了更多表达和更有用的网格表示，该框架可从单个 RGB 图像重建人手的完整 3D 网格，并具有较好的表现。

    Feb, 2019

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • 从单一深度图中回归手部网格顶点的双网格网络

    本文提出了一种通过从单个深度图中回归网格模型顶点坐标来恢复手部密集 3D 表面的方法，使用两阶段 2D 完全卷积网络架构和可微分算子来实现，能够通过自我监督实现更好的效果，表现优异。

    Jul, 2019

  • 使用网格卷积进行单张图片的三维手部重建

    使用非线性潜在网格表示的手部形状和关节姿态，在照片上进行单目 3D 重建，该模型具有实时性能。

    May, 2019

  • MobRecon：从单目图像中重建手部网格模型的移动设备友好算法

    提出了一种单视图手部网格重建框架，采用 2D 编码和 3D 解码，结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度，并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明，该框架达到了优越的重建精度和时间上的一致性，具有超高的推理速度。

    Dec, 2021

  • 使用单目 RGB 进行双手全局 3D 姿态估计

    本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

    Jun, 2020

  • 实时三维手部网格重建中的精准对齐

    该论文提出了一种基于三个阶段的新型流程，通过联合阶段、网格阶段和细化阶段，实现准确的手部姿势和形状的 3D 网格重建，从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果，证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。

    Sep, 2021