Jun, 2024

MLPHand：基于 MLP 建模的多视角实时三维手部网格重建

PDF
TL;DR研究提出了 MLPHand，一种用于实时多视图单手重建的新方法。MLPHand 包含两个主要模块：轻量级的基于 MLP 的 Skeleton2Mesh 模型，以及使用多视图几何特征融合预测模块增强 Skeleton2Mesh 模型。实验表明，MLPHand 可以在保持与现有最先进方法相当的重建准确性的同时，将计算复杂度减少 90%。
multi-view hand mesh reconstructionvirtual realityhuman-computer interactionreal-time inferencemlphand
发现论文，激发创造
  • MobRecon：从单目图像中重建手部网格模型的移动设备友好算法

    提出了一种单视图手部网格重建框架，采用 2D 编码和 3D 解码，结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度，并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明，该框架达到了优越的重建精度和时间上的一致性，具有超高的推理速度。

    Dec, 2021

  • MeMaHand: 利用网格 - Mano 交互进行单图像双手重建

    本文提出了一种利用素材学习获取双手的网络来实现手的重建，其中考虑了两种不同的手表示法。通过引入 Mesh-Mano interaction blocks（MMIBs）以及 mesh alignment refinement module，我们的方法在 InterHand2.6M 基准上的表现优于现有的手重建方法，生成效果明显。

    Mar, 2023

  • 使用网格卷积进行单张图片的三维手部重建

    使用非线性潜在网格表示的手部形状和关节姿态，在照片上进行单目 3D 重建，该模型具有实时性能。

    May, 2019

  • 实时三维手部网格重建中的精准对齐

    该论文提出了一种基于三个阶段的新型流程，通过联合阶段、网格阶段和细化阶段，实现准确的手部姿势和形状的 3D 网格重建，从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果，证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。

    Sep, 2021

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 3D 透明物体混合 Mesh-neural 表示法的重建

    本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法，该方法采用了显式网格和多层感知器网络（MLP）的混合表示，通过多视图剪影获得初始形状，并使用基于表面的局部 MLP 编码顶点位移场（VDF）进行表面细节的重建。定义在表面而不是体积上的局部 MLPs 也减少了搜索空间，从而实现了基于单张图片的环境抠图算法的简化实现。经过多项实验证明，此方法可以在采集数据方面进行简化，并且可以确保重建质量优于现有的技术水平。

    Mar, 2022

  • 野外场景下基于弱监督网格卷积的手部重建

    本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构，大大优于最先进的方法，在野外基准测试中将误差减半。

    Apr, 2020

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • MVHM: 准确三维手部姿态估计的大规模多视图手部网格基准测试

    本文提出了一种 spin match 算法，并基于该算法提出了一种有效的多视角手部网格数据集生成方法，证明使用该数据集训练的手部姿态估计器大幅提升性能，从而达到了 0.990 AUC$_{20-50}$ 的性能，且数据集内容公开。

    Dec, 2020

  • 使用跨分支特征融合的单张图片联合手 - 物体三维重建

    通过采用 LSTM 结构和深度估计模块，这篇论文提出了一种手部与物体联合特征融合的方法，成功提高了物体重建精度，适用于人体与物体交互研究。

    Jun, 2020