Jun, 2020

使用跨分支特征融合的单张图片联合手 - 物体三维重建

PDF
TL;DR通过采用 LSTM 结构和深度估计模块，这篇论文提出了一种手部与物体联合特征融合的方法，成功提高了物体重建精度，适用于人体与物体交互研究。
3d reconstructionhand-object interactionfeature fusionlstm unitsdepth estimation
发现论文，激发创造
  • 基于注意力引导图卷积的手和物体重建协同学习

    本文提出了一种协作学习策略的算法，通过两个深度网络分支相互学习并解决注意力和联合信息传输的问题，实现鲁棒的手部和物体位姿估计与三维重建。

    Apr, 2022

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 学习双手和操纵物的联合重建

    基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

    Apr, 2019

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 通过聚合基于先验知识的手部内部和交互图来进行手 - 物体交互场景的 3D 手部重建

    最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

    Mar, 2024

  • HandNeRF：从单个 RGB 图像学习重建手物体交互场景

    该论文提出了一种学习手物体交互的方法，通过从单个 RGB 图像中重建 3D 手物体场景。利用手形状来约束手和物体几何的相对配置，设计了可泛化的隐式函数 HandNeRF，以预测手和物体场景的几何关系。实验证明，HandNeRF 能够比其他相似方法更准确地重建新抓取配置的手物体场景，并确保从 HandNeRF 重建的物体对于机器人手交更加准确。

    Sep, 2023

  • 联合手 - 物体姿态估计的通用反馈环

    该研究提出一种通过反馈循环纠正卷积神经网络预测手的三维姿态估计的方法，使用深度神经网络同时估计手和物体的三维姿态，并在单个 GPU 上实时运行，性能好于现有方法。

    Mar, 2019

  • 从 RGB 图像学习估计手持物体的姿态和形状

    该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

    Mar, 2019

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016