Feb, 2023

一张 RGB 图像交互式双手重建的解耦迭代细化框架

PDF
TL;DR本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。
hand reconstructioniterative refinementinteraction patterngraph convolution networkpixel-wise enhancement
发现论文，激发创造
  • 通过考虑碰撞感知的因式化优化，实现交互手的单目三维重建

    本文提出了一种通过卷积神经网络和分步优化的方式从单个 RGB 图像中重建精确的三维手部网格模型，以促进人机交互和人类行为理解，并在 InterHand2.6M 等大规模数据集上进行了广泛的定量和定性分析。

    Nov, 2021

  • 利用时空背景对单目 RGB 视频中的互动手部重建进行开发

    利用时空信息重建交互手部的新框架，结合时序上下文与运动平滑性的时间约束，并采用物理碰撞检测模块以实现运动可信的交互手部重建。

    Aug, 2023

  • 通过手部去遮挡和去除实现的 3D 交互手势姿态估计

    该研究提出了一种新的处理双手交互姿态估计的方法，包括手部去遮挡和干扰物去除，建立了大规模合成数据集以促进研究发展，并显示该方法显著优于先前的同类研究。

    Jul, 2022

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • HandNeRF：从单个 RGB 图像学习重建手物体交互场景

    该论文提出了一种学习手物体交互的方法，通过从单个 RGB 图像中重建 3D 手物体场景。利用手形状来约束手和物体几何的相对配置，设计了可泛化的隐式函数 HandNeRF，以预测手和物体场景的几何关系。实验证明，HandNeRF 能够比其他相似方法更准确地重建新抓取配置的手物体场景，并确保从 HandNeRF 重建的物体对于机器人手交更加准确。

    Sep, 2023

  • 通过聚合基于先验知识的手部内部和交互图来进行手 - 物体交互场景的 3D 手部重建

    最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

    Mar, 2024

  • 通过概率逐像素部件分割学习消岐强相关手部

    本论文提出 DIGIT 方法，通过将每个像素的语义部分分割和视觉特征融合形成卷积层，实现从单目图像中估算两只相互交互手的三维姿势，试验表明该方法在 InterHand2.6M 数据集上取得了最新的最佳性能。

    Jul, 2021

  • Keypoint Transformer：用于精确 3D 姿态估计中解决具有挑战性的手部和物体交互中的关键点标识问题

    本文提出了一种名为 “Keypoint Transformer” 的深度神经网络结构，该结构可以通过二维关键点自注意力机制提取手部三维位姿，实验结果表明该算法在 InterHand2.6M 数据集上性能优于当前所有算法，并可以扩展到双手操纵物体的三维位姿估计，同时作者还提供了超过 75,000 个手部交互的三维场景数据集。

    Apr, 2021

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 使用单个深度相机实时重建相互作用的两只手的姿态和形状

    本论文提出了一种新思路，用于实时跟踪并重构双手的姿态和形状。该方法通过能源最小化框架，将手部姿态和形状模型以及基于深度神经网络的高密度对应预测器嵌入其中，以实现快速运行，实时处理以及自动化调整。同时，文中还提到，该模型得到了场景复杂度不断升级的改进，并达到了同类研究领域的最高水准。

    Jun, 2021