通过语义聚合和自适应二维 - 一维配准恢复相机空间手部网格模型
利用虚拟现实、增强现实和手势控制等技术的快速发展,用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型,可从单目 RGB 图像中恢复相机空间中的 3D 手部网格,以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估,我们证明了我们提出的模型与最先进的模型具有可比性,为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。
May, 2024
本文提出了 HAnd Mesh Recovery (HAMR) 框架,通过参数化通用 3D 手模型的形状和相对 3D 关节角度,提供了更多表达和更有用的网格表示,该框架可从单个 RGB 图像重建人手的完整 3D 网格,并具有较好的表现。
Feb, 2019
该论文提出了一种基于三个阶段的新型流程,通过联合阶段、网格阶段和细化阶段,实现准确的手部姿势和形状的 3D 网格重建,从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果,证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。
Sep, 2021
本文提出了一种利用自我监督的三维手部重建网络,通过利用易于提取的二维关键点从输入图像中获取几何线索,并通过一套新颖的损失函数推理出网络输出,以进行精确的手部重建。与使用手动标注数据训练的方法相比,我们的方法减少了对手动标注的依赖,并展示了在更少的监督数据下达到可比较的性能。
Mar, 2021
本文通过引入一个可学习的模型 BiHand,使用一种新颖的双向设计来进行 3D 手部估计和网格恢复,该模型可以在多项评估实验中展现出高准确度,对比现有的研究成果具有一定的优越性。
Aug, 2020
该研究提出了一种基于单个深度帧的三维手部姿态估计方法,通过像素级别的估计实现高效准确地实现骨架姿态估计,并在 MSRA 和 NYU 手部数据集上,其方法实现了最好的性能。
Nov, 2017
本文提出了一种通过从单个深度图中回归网格模型顶点坐标来恢复手部密集 3D 表面的方法,使用两阶段 2D 完全卷积网络架构和可微分算子来实现,能够通过自我监督实现更好的效果,表现优异。
Jul, 2019
本文提出了一个分解迭代框架来实现像素对齐的手部重建,同时有效地建模手部之间的空间关系,利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互,并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比,我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时,我们的方法展现了对野外图像的强大的泛化能力。
Feb, 2023
提出了一种通过自监督学习从单目视频中重构 3D 手部模型的方法,利用 2D 手部关键点和图像纹理约束进行姿态、形状、纹理、相机视角的估计,达到与全监督方法相似的重构性能,尤其是在视频训练数据下可以显著提高重构精度和一致性。
Jan, 2022