May, 2024

HandSSCA: 从 RGB 图像中估计的 3D 手部网格重建

PDF
TL;DR通过引入状态空间建模到手部姿态估计领域，我们提出了一种简单高效的三维手部网格重建网络 HandSSCA，其中设计了一种新颖的状态空间通道关注模块来提取空间维度上的手部特征并增强通道维度上的手部区域特征，实验结果表明我们的 HandSSCA 在重建完整且详细的手部网格方面达到了最先进的性能。
hand mesh reconstruction3d reconstructionstate space modelinghand pose estimationstate space channel attention
发现论文，激发创造
  • 基于模型的自监督学习实现的 3D 手部重建

    本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

    Mar, 2021

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • HandGCAT：从单目图像中抗遮挡重建三维手部网格模型

    我们提出了一种从单眼图像中重建 3D 手部网格的稳健准确方法，并且在具有挑战性的手 - 物体遮挡情况下达到了最先进的性能。

    Feb, 2024

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019

  • SiMA-Hand: 通过单视图到多视图适应提升 3D 手部网格重建

    通过单视角到多视角自适应的 SiMA-Hand 方法，在 3D 手部网格估计中解决了遮挡问题，并且在重建性能上取得了卓越的表现。

    Feb, 2024

  • 用于精细手物体重建的动态双曲线注意网络

    本文提出了首个在双曲空间中精确手物体重构的方法 Dynamic Hyperbolic Attention Network (DHANet)，该方法借助双曲空间的内在特性学习代表性特征，并通过动态双曲图卷积和基于图注意力的双曲图卷积两个模块来学习具有丰富几何 - 图像多模态信息的网格特征和更好地建模手物体交互作用，实验证明该方法在三个公共数据集上优于大多数最先进的方法。

    Sep, 2023

  • 通过自监督学习实现视频中一致的 3D 手部重建

    提出了一种通过自监督学习从单目视频中重构 3D 手部模型的方法，利用 2D 手部关键点和图像纹理约束进行姿态、形状、纹理、相机视角的估计，达到与全监督方法相似的重构性能，尤其是在视频训练数据下可以显著提高重构精度和一致性。

    Jan, 2022

  • 视频中三维手姿和网格估计的时空感知自监督学习

    本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

    Dec, 2020

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 通过语义聚合和自适应二维 - 一维配准恢复相机空间手部网格模型

    该研究介绍了一种利用已知关节点之间语义关系和 1D 投影来恢复单个 RGB 图像的相机空间 3D 手部网格的方法，并在流行的数据集上展示了该方法在根相对网格恢复和根恢复方面的最新成果。

    Mar, 2021