Sep, 2023

HandNeRF：从单个 RGB 图像学习重建手物体交互场景

PDF
TL;DR该论文提出了一种学习手物体交互的方法，通过从单个 RGB 图像中重建 3D 手物体场景。利用手形状来约束手和物体几何的相对配置，设计了可泛化的隐式函数 HandNeRF，以预测手和物体场景的几何关系。实验证明，HandNeRF 能够比其他相似方法更准确地重建新抓取配置的手物体场景，并确保从 HandNeRF 重建的物体对于机器人手交更加准确。
hand-object interaction3d hand-object scene reconstructiondepth ambiguityhand shape constraintshandnerf
发现论文，激发创造
  • 单图像神经场实现机器人物体操作

    通过利用神经辐射场（NeRF）的一个紧凑的单一图像表示，我们能够从单一图像中推断物体渲染，三维重建和抓握姿势预测，从而比先前方案小两个到三个数量级，而实现可比的视图重建和抓握性能。

    Oct, 2022

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • HandNeRF: 可交互手部的神经辐射场

    该文提出了一个新的框架，使用神经辐射场（NeRF）重建手的外观和几何，使得能够从任意视角呈现手势动画的逼真图像和视频，并利用姿势驱动的变形场等方法实现了手外观与几何的合理映射，同时在密度学习中使用了伪深度图进行遮挡处理，最终在多项实验证明了该方法的有效性。

    Mar, 2023

  • 基于三维可见性感知的通用神经辐射场模型用于交互手部

    这篇论文提出了一种可推广的可见性感知交互手部 NeRF（VA-NeRF）框架，通过利用可见性信息和改进的对抗学习，能够更好地还原具有交互的手部场景中不可见区域的特征，从而在 Interhand2.6M 数据集上取得显著的性能提升。

    Jan, 2024

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 手 - 物件交互式 3D 物体重建

    本研究介绍了一种利用在手扫描中提取三维手部动作并将其融合到三维重建管道中的方法，以实现即使是无特征和高度对称的物体的重建，这将对手持扫描技术的最新进展有重大贡献。

    Apr, 2017

  • 基于 UV 的三维手 - 物体重建与抓取优化

    使用单个 RGB 图像提出一种新的框架，实现了 3D 手部形状重构和手 - 物体抓握优化，通过 UV 坐标映射的密集表示方法替代了以往稀疏点的接触区域近似，同时引入了推理时间优化来微调抓握，实现了更好的手部形状重构准确性和质感。在 Ho3D，FreiHAND 和 DexYCB 等数据集上进行的实验表明，我们的方法优于现有技术。

    Nov, 2022

  • HOLD：从视频中无类别限制地重建互动的手部和物体的 3D 模型

    通过使用单目交互视频，我们提出了 HOLD，它是第一个无需 3D 手物体注释就能从中复原出联合的手和物体的方法，通过使用一个组合的隐式模型，能够从 2D 图像中复原出解缠细分的 3D 手和物体，并进一步结合手物体约束来改善复原质量，在实验室和入迷环境中优于全监督基线方法。

    Nov, 2023

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022