ICCVSep, 2023

用于精细手物体重建的动态双曲线注意网络

PDF
TL;DR本文提出了首个在双曲空间中精确手物体重构的方法 Dynamic Hyperbolic Attention Network (DHANet)，该方法借助双曲空间的内在特性学习代表性特征，并通过动态双曲图卷积和基于图注意力的双曲图卷积两个模块来学习具有丰富几何 - 图像多模态信息的网格特征和更好地建模手物体交互作用，实验证明该方法在三个公共数据集上优于大多数最先进的方法。
发现论文，激发创造
  • 基于注意力引导图卷积的手和物体重建协同学习

    本文提出了一种协作学习策略的算法，通过两个深度网络分支相互学习并解决注意力和联合信息传输的问题，实现鲁棒的手部和物体位姿估计与三维重建。

    Apr, 2022

  • HandSSCA: 从 RGB 图像中估计的 3D 手部网格重建

    通过引入状态空间建模到手部姿态估计领域，我们提出了一种简单高效的三维手部网格重建网络 HandSSCA，其中设计了一种新颖的状态空间通道关注模块来提取空间维度上的手部特征并增强通道维度上的手部区域特征，实验结果表明我们的 HandSSCA 在重建完整且详细的手部网格方面达到了最先进的性能。

    May, 2024

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 双曲图注意力网络

    本文首次尝试在双曲空间中使用带有注意机制的图神经网络，采用 gyrovector 空间将图中特征进行转换，并提出了基于双曲近似的注意机制来聚合特征。通过实验，与其他最先进的基准方法进行比较，证明了我们提出的超曲线图注意力网络模型的性能。

    Dec, 2019

  • 通过聚合基于先验知识的手部内部和交互图来进行手 - 物体交互场景的 3D 手部重建

    最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

    Mar, 2024

  • 一种双曲到双曲的图卷积网络

    本文提出了一种直接在超伪球面上进行图卷积运算的超伪球面图卷积网络（H2H-GCN），该网络采用保流形图卷积和 Einstein 中点算法来保留全局的超伪球面结构。在链接预测、节点分类和图分类任务中均实现了显著的性能提升。

    Apr, 2021

  • 双曲异质图注意力网络

    提出了利用超几何空间和元路径实例学习异构图的向量表示的超几何异构图注意力网络（HHGAT），在三个真实的异构图数据集上的实验证明 HHGAT 在节点分类和聚类任务中优于现有的异构图嵌入模型。

    Apr, 2024

  • 基于部分粒子群优化的空间关注深度网络用于分层混合手部姿态估计

    本文提出一种新的手势姿势估计方法，采用运动层次结构策略到判别性手势姿势方法的输入和输出空间，并通过空间注意机制和层次粒子群优化来优化生成性模型，实验结果表明该方法在三个公共基准测试中显著优于四种最先进的方法和三个基线。

    Apr, 2016

  • 双曲图卷积神经网络

    本文提出了第一个归纳式的超几何图卷积神经网络 (HGCN)，它利用了超几何空间的表达能力和嵌入高度曲率的特点来学习分层和无标度图的归纳式节点表示，并说明了如何将欧几里得输入特征转换为具有不同可训练曲率的超几何嵌入。 实验证明，HGCN 学习到的嵌入保留了分层结构，并且与欧几里得模型相比，即使具有非常低的维度嵌入，也能获得更好的性能：在链路预测中，ROC AUC 误差降低最多为 63.1％，在节点分类中，F1 score 提高最多为 47.5％，也改善了 Pubmed 数据集的最新技术水平。

    Oct, 2019