细粒度多视角手部重建基于逆向渲染
利用虚拟现实、增强现实和手势控制等技术的快速发展,用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型,可从单目 RGB 图像中恢复相机空间中的 3D 手部网格,以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估,我们证明了我们提出的模型与最先进的模型具有可比性,为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。
May, 2024
提出了一种单视图手部网格重建框架,采用 2D 编码和 3D 解码,结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度,并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明,该框架达到了优越的重建精度和时间上的一致性,具有超高的推理速度。
Dec, 2021
本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构,大大优于最先进的方法,在野外基准测试中将误差减半。
Apr, 2020
最近,3D 手部重建在人机合作中越来越受关注,特别是在手物互动场景中。然而,由于交互造成的严重手部遮挡问题,仍然存在巨大挑战,包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题,我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络,以在手物互动场景中平衡准确性和物理可信度。首先,我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块,避免了从抽象图像特征进行高度非线性映射的过程,也不再依赖于准确的 3D 关节点。此外,我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型,共同精细化手部网格和关节点,模拟了顶点 - 顶点和关节点 - 关节点的依赖关系,并分别捕捉了顶点 - 关节点的相关性,以聚合图内节点和图间节点特征。实验结果表明,我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能,并且优于所有仅基于模型和无模型方法。
Mar, 2024
本文提出了 HAnd Mesh Recovery (HAMR) 框架,通过参数化通用 3D 手模型的形状和相对 3D 关节角度,提供了更多表达和更有用的网格表示,该框架可从单个 RGB 图像重建人手的完整 3D 网格,并具有较好的表现。
Feb, 2019
本文提出了一个分解迭代框架来实现像素对齐的手部重建,同时有效地建模手部之间的空间关系,利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互,并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比,我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时,我们的方法展现了对野外图像的强大的泛化能力。
Feb, 2023
该论文提出了一种基于三个阶段的新型流程,通过联合阶段、网格阶段和细化阶段,实现准确的手部姿势和形状的 3D 网格重建,从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果,证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。
Sep, 2021
研究提出了 MLPHand,一种用于实时多视图单手重建的新方法。MLPHand 包含两个主要模块:轻量级的基于 MLP 的 Skeleton2Mesh 模型,以及使用多视图几何特征融合预测模块增强 Skeleton2Mesh 模型。实验表明,MLPHand 可以在保持与现有最先进方法相当的重建准确性的同时,将计算复杂度减少 90%。
Jun, 2024