Jul, 2023

基于金字塔深度融合网络的RGB-D图像双手重建

HTML
PDF
TL;DR本文提出了一种综合使用RGB-D图像、深度学习网络以及多层融合策略的手部姿态估计方法，模型能通过GCN-based解码器来恢复精细的手部3D网格结构，在多项公共数据集上的性能表现优于其他已有方法。
发现论文，激发创造
  • 基于 RGB 和深度图的特权学习 3D 手势姿态估计

    本篇论文提出了一种从RGB图像中估计手部姿势的方法，该方法在训练时利用了相应的深度图像，使用深度数据来初始化深度网络、约束RGB网络权重、及抑制背景区域反应，使用RGB和深度图像的配对数据，训练RGB网络以学习深度网络中的中层特征，该方法在三个公共数据集上的实验结果表明，与使用RGB图像输入的其他方法相比，性能更优越。

    Nov, 2018

  • 从单目RGB图像恢复端到端的手部网格

    本文提出了HAnd Mesh Recovery (HAMR)框架，通过参数化通用3D手模型的形状和相对3D关节角度，提供了更多表达和更有用的网格表示，该框架可从单个RGB图像重建人手的完整3D网格，并具有较好的表现。

    Feb, 2019

  • 从单一RGB图像中估计3D手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个RGB图像中估算手的3D形状和姿态，并通过含3D地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的3D网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的3D姿态估计准确性。

    Mar, 2019

  • 通过神经渲染推动基于RGB的稠密三维手势姿势估计的发展

    采用紧凑的参数化3D手模型对单个RGB图像进行三维手模型估计，运用神经渲染、迭代测试和自我数据增强方法，并在三个基于RGB的基准测试中证明了优越性。

    Apr, 2019

  • 从单一深度图中回归手部网格顶点的双网格网络

    本文提出了一种通过从单个深度图中回归网格模型顶点坐标来恢复手部密集3D表面的方法，使用两阶段2D完全卷积网络架构和可微分算子来实现，能够通过自我监督实现更好的效果，表现优异。

    Jul, 2019

  • 使用跨分支特征融合的单张图片联合手-物体三维重建

    通过采用LSTM结构和深度估计模块，这篇论文提出了一种手部与物体联合特征融合的方法，成功提高了物体重建精度，适用于人体与物体交互研究。

    Jun, 2020

  • 交互式关注图像用于单张图片的双手重建

    本文介绍了一种名为Interacting Attention Graph Hand (IntagHand)的网络，该网络利用图卷积网络 (GCN) 进行双手重建任务，引入了两个注意力模块(PIFA和CHA)解决双手重建中的遮挡和交互挑战，实现了从单个RGB图像重建两只相互作用的手，并在InterHand2.6M基准测试中取得了优异的成果。

    Mar, 2022

  • SiMA-Hand: 通过单视图到多视图适应提升3D手部网格重建

    通过单视角到多视角自适应的SiMA-Hand方法，在3D手部网格估计中解决了遮挡问题，并且在重建性能上取得了卓越的表现。

    Feb, 2024

  • HandGCAT：从单目图像中抗遮挡重建三维手部网格模型

    我们提出了一种从单眼图像中重建3D手部网格的稳健准确方法，并且在具有挑战性的手-物体遮挡情况下达到了最先进的性能。

    Feb, 2024

  • HandSSCA: 从RGB图像中估计的3D手部网格重建

    通过引入状态空间建模到手部姿态估计领域，我们提出了一种简单高效的三维手部网格重建网络HandSSCA，其中设计了一种新颖的状态空间通道关注模块来提取空间维度上的手部特征并增强通道维度上的手部区域特征，实验结果表明我们的HandSSCA在重建完整且详细的手部网格方面达到了最先进的性能。

    May, 2024