可扩展图频分解的高保真三维手部形态重建
基于频谱网格的表示学习方法应用于虚拟世界中的参数化模型,提供了在不同频率级别上独立编辑变形的能力,并通过不同的表示方式改进了生成网格的几何和感知质量。
Feb, 2024
本研究提出一种基于弱监督深度编码器 - 解码器框架的高保真手部网格模型,通过使用 3D 关节点坐标和多视角深度图等多种较弱监督手段,避免了对地面真实网格的依赖,并引入穿透避免损失来提高模型真实性,进一步表明所提出的 DeepHandMesh 方法在手部模型重建方面的有效性。
Aug, 2020
利用虚拟现实、增强现实和手势控制等技术的快速发展,用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型,可从单目 RGB 图像中恢复相机空间中的 3D 手部网格,以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估,我们证明了我们提出的模型与最先进的模型具有可比性,为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。
May, 2024
最近,3D 手部重建在人机合作中越来越受关注,特别是在手物互动场景中。然而,由于交互造成的严重手部遮挡问题,仍然存在巨大挑战,包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题,我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络,以在手物互动场景中平衡准确性和物理可信度。首先,我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块,避免了从抽象图像特征进行高度非线性映射的过程,也不再依赖于准确的 3D 关节点。此外,我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型,共同精细化手部网格和关节点,模拟了顶点 - 顶点和关节点 - 关节点的依赖关系,并分别捕捉了顶点 - 关节点的相关性,以聚合图内节点和图间节点特征。实验结果表明,我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能,并且优于所有仅基于模型和无模型方法。
Mar, 2024
本研究介绍了一种弱监督手部形状估计框架,它将非参数网格拟合与 MANO 模型在端到端的方式中集成起来,克服了准确性和可信度之间的折衷,特别是在具有挑战性的双手和手 - 物体交互场景中产生了对齐良好、高质量的 3D 网格。
May, 2023
本文提出了一种基于图形卷积神经网络的方法,从单个 RGB 图像中估算手的 3D 形状和姿态,并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练,结果表明可以对手的 3D 网格进行准确和合理的重建,并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。
Mar, 2019
该论文提出了一种基于三个阶段的新型流程,通过联合阶段、网格阶段和细化阶段,实现准确的手部姿势和形状的 3D 网格重建,从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果,证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。
Sep, 2021
本文通过引入一个可学习的模型 BiHand,使用一种新颖的双向设计来进行 3D 手部估计和网格恢复,该模型可以在多项评估实验中展现出高准确度,对比现有的研究成果具有一定的优越性。
Aug, 2020