CVPRApr, 2022

LISA: 学习手部的隐式形状和外观

PDF
TL;DR该研究提出了一种名为 LISA 的全方位神经手模型，该模型可以捕捉准确的手部形状和外观，具有密集的表面对应性，并且易于重建。通过在大量 RGB 图像序列上训练，我们的模型可以预测每个手骨的颜色和距离，并结合预测的皮肤权重。实验表明，LISA 可以从单目或多视角序列准确重建动态手部，与基线方法相比，具有更高质量的重建手部形状。
发现论文，激发创造
  • 野外图像中的三维手部形状和姿态

    利用先前计算好的人工建模和先验知识，结合深度学习的方法实现了从 RGB 图像中预测手部形状和姿态，结果显示出在标准基准测试中表现出最新颖的 3D 姿态预测效果，同时在弱监督下训练的模型也能够很好的应用于在实际环境中的 3D 形状和姿态预测。

    Feb, 2019

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • 从 RGB 图像学习估计手持物体的姿态和形状

    该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

    Mar, 2019

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • Body2Hands：从对话手势身体动态中学习推断三维手部模型

    本文提出了一种基于学习深度先验的新型 3D 手部形态综合和估计方法，其中利用了身体运动和手势之间的相关性，采用网络进行 3D 手部姿态估计训练并得到了优良的效果。

    Jul, 2020

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • 从单张 RGB 图像学习估计 3D 手部姿势

    本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

    May, 2017

  • Im2Hands: 学习交互双手形状的专注隐式表示

    我们提出了 Implicit Two Hands (Im2Hands)，这是第一个用于表示两只交互手的神经隐含表示方法。与现有的两手重建方法不同，Im2Hands 可以生成高度与图像一致的两只手的细粒度几何图形，同时解决了形状复杂性和交互背景带来的问题。我们的实验结果表明，与相关方法相比，Im2Hands 在两手重建方面取得了最先进的结果。

    Feb, 2023