May, 2019

使用网格卷积进行单张图片的三维手部重建

PDF
TL;DR使用非线性潜在网格表示的手部形状和关节姿态，在照片上进行单目 3D 重建，该模型具有实时性能。
monocular 3d reconstructiondeformable objectsnon-linear representationlatent parametersreal-time
发现论文，激发创造
  • 野外场景下基于弱监督网格卷积的手部重建

    本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构，大大优于最先进的方法，在野外基准测试中将误差减半。

    Apr, 2020

  • 野外图像中的三维手部形状和姿态

    利用先前计算好的人工建模和先验知识，结合深度学习的方法实现了从 RGB 图像中预测手部形状和姿态，结果显示出在标准基准测试中表现出最新颖的 3D 姿态预测效果，同时在弱监督下训练的模型也能够很好的应用于在实际环境中的 3D 形状和姿态预测。

    Feb, 2019

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • MobRecon：从单目图像中重建手部网格模型的移动设备友好算法

    提出了一种单视图手部网格重建框架，采用 2D 编码和 3D 解码，结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度，并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明，该框架达到了优越的重建精度和时间上的一致性，具有超高的推理速度。

    Dec, 2021

  • 使用卷积网格自编码器生成 3D 面孔

    本论文提出了一种基于网格表面的谱卷积模型，该模型能够更好地捕捉面部的非线性变形和表情，使用少量数据训练即能有效地重建三维面部模型。

    Jul, 2018

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • DeepHandMesh：一种弱监督深度编码器 - 解码器框架，用于高保真度手部网格建模

    本研究提出一种基于弱监督深度编码器 - 解码器框架的高保真手部网格模型，通过使用 3D 关节点坐标和多视角深度图等多种较弱监督手段，避免了对地面真实网格的依赖，并引入穿透避免损失来提高模型真实性，进一步表明所提出的 DeepHandMesh 方法在手部模型重建方面的有效性。

    Aug, 2020

  • 利用 Transformers 進行三維手部重建

    从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。

    Dec, 2023

  • MLPHand：基于 MLP 建模的多视角实时三维手部网格重建

    研究提出了 MLPHand，一种用于实时多视图单手重建的新方法。MLPHand 包含两个主要模块：轻量级的基于 MLP 的 Skeleton2Mesh 模型，以及使用多视图几何特征融合预测模块增强 Skeleton2Mesh 模型。实验表明，MLPHand 可以在保持与现有最先进方法相当的重建准确性的同时，将计算复杂度减少 90%。

    Jun, 2024