CVPRMar, 2022

交互式关注图像用于单张图片的双手重建

PDF
TL;DR本文介绍了一种名为 Interacting Attention Graph Hand (IntagHand) 的网络，该网络利用图卷积网络 (GCN) 进行双手重建任务，引入了两个注意力模块 (PIFA 和 CHA) 解决双手重建中的遮挡和交互挑战，实现了从单个 RGB 图像重建两只相互作用的手，并在 InterHand2.6M 基准测试中取得了优异的成果。
graph convolutional networkintaghandtwo-hand reconstructionattention moduleinteracting hands
发现论文，激发创造
  • LWA-HAND: 用于交互式手部重建的轻量级关注手模型

    本文提出了一种名为 LWA-HAND 的方法，通过三个 mobile attention modules 解决有效 attention 架构中的遮挡和交互问题，使单个 RGB 图像中的手部重建具有低 flops，且相对于现有最先进的模型，其性能相当，在同时大大降低计算复杂度.

    Aug, 2022

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 通过聚合基于先验知识的手部内部和交互图来进行手 - 物体交互场景的 3D 手部重建

    最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

    Mar, 2024

  • 基于姿态的手势识别的双流神经网络

    本研究提出了基于自注意力图卷积网络和 RBI-IndRNN 的双流神经网络，用于提取短期和长期时间信息，以实现手势识别。在 Dynamic Hand Gesture 数据集和 First-Person Hand Action 数据集上验证了其有效性，并取得了最新的性能。

    Jan, 2021

  • Im2Hands: 学习交互双手形状的专注隐式表示

    我们提出了 Implicit Two Hands (Im2Hands)，这是第一个用于表示两只交互手的神经隐含表示方法。与现有的两手重建方法不同，Im2Hands 可以生成高度与图像一致的两只手的细粒度几何图形，同时解决了形状复杂性和交互背景带来的问题。我们的实验结果表明，与相关方法相比，Im2Hands 在两手重建方面取得了最先进的结果。

    Feb, 2023

  • 交织图与注意力网络用于三维人体姿势估计

    本文介绍了利用 Interweaved Graph and Attention Network 技术来进行从单视图图像中进行 3D 人体姿势估计的方法，结果表明该方法在 Human3.6M 和 MPI-INF-3DHP 两个流行的基准数据集上均达到了最先进的表现。

    Apr, 2023

  • 基于注意力引导图卷积的手和物体重建协同学习

    本文提出了一种协作学习策略的算法，通过两个深度网络分支相互学习并解决注意力和联合信息传输的问题，实现鲁棒的手部和物体位姿估计与三维重建。

    Apr, 2022

  • 细粒度多视角手部重建基于逆向渲染

    通过反向渲染来重建手部姿势和复杂细节的新型细粒度多视图手部网格重建方法，具有良好的重建准确性和渲染质量。

    Jul, 2024

  • ACR: 基于协作注意力的任意双手重建回归器

    本研究提出了一种名为 ACR 的通过使用中心和部分基于注意力的特征提取的方法，显式缓解手之间和部件之间的相互依赖，以减少对输入的约束，同时加强对处理互动手的先验知识。经过各种数据集的评估，与最佳交互手方法相比，在 InterHand2.6M 数据集上表现显着更好，在 FreiHand 数据集上与最先进的单手方法的性能相当。更多对不同数据集的研究展示了本方法对任意手重建的有效性。

    Mar, 2023

  • 自适应图模型网络用于二维手部姿态估计

    本文提出一种名为自适应图模型网络（AGMN）的新架构，用于从单个 RGB 图像估计 2D 手部姿势，该架构包含两个深度卷积神经网络分支，用于计算一元和双元潜力函数，随后是图形模型推断模块，用于集成一元和双元潜力。与现有的将 DCNN 与图形模型结合的体系结构不同，我们的 AGMN 是新颖的，因为其图形模型的参数是基于并完全适应于个别输入图像的。实验证明，我们的方法在两个公共数据集上比 2D 手关键点估计中使用的最先进方法优越了不少。

    Sep, 2019