Nov, 2022

基于 UV 的三维手 - 物体重建与抓取优化

PDF
TL;DR使用单个 RGB 图像提出一种新的框架，实现了 3D 手部形状重构和手 - 物体抓握优化，通过 UV 坐标映射的密集表示方法替代了以往稀疏点的接触区域近似，同时引入了推理时间优化来微调抓握，实现了更好的手部形状重构准确性和质感。在 Ho3D，FreiHAND 和 DexYCB 等数据集上进行的实验表明，我们的方法优于现有技术。
3d hand shape reconstructionhand-object grasp optimizationuv coordinate mapinference-time optimizationstate-of-the-art
发现论文，激发创造
  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 从 RGB 视频中实现无限制联合手部和物体重建

    本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

    Aug, 2021

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • I2UV-HandNet：准确高保真的三维手部网格建模的图像到 UV 预测网络

    本篇论文提出了一种基于 I2UV-HandNet 模型的 3D 手部姿态和形状估计方法，通过使用 UV 位置图像的低分辨率和高分辨率图像进行图像到图像转换来恢复 3D 手模型，成功实现了对手部形状的 UV 表示，在多个具有挑战性的数据集上，该方法的性能达到了最新水平。

    Feb, 2021

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • HOLD：从视频中无类别限制地重建互动的手部和物体的 3D 模型

    通过使用单目交互视频，我们提出了 HOLD，它是第一个无需 3D 手物体注释就能从中复原出联合的手和物体的方法，通过使用一个组合的隐式模型，能够从 2D 图像中复原出解缠细分的 3D 手和物体，并进一步结合手物体约束来改善复原质量，在实验室和入迷环境中优于全监督基线方法。

    Nov, 2023

  • HandNeRF：从单个 RGB 图像学习重建手物体交互场景

    该论文提出了一种学习手物体交互的方法，通过从单个 RGB 图像中重建 3D 手物体场景。利用手形状来约束手和物体几何的相对配置，设计了可泛化的隐式函数 HandNeRF，以预测手和物体场景的几何关系。实验证明，HandNeRF 能够比其他相似方法更准确地重建新抓取配置的手物体场景，并确保从 HandNeRF 重建的物体对于机器人手交更加准确。

    Sep, 2023

  • 手 - 物件交互式 3D 物体重建

    本研究介绍了一种利用在手扫描中提取三维手部动作并将其融合到三维重建管道中的方法，以实现即使是无特征和高度对称的物体的重建，这将对手持扫描技术的最新进展有重大贡献。

    Apr, 2017

  • RGB Matters: 在单目 RGBD 图像上学习 7 自由度抓取姿态

    本文提出了 RGBD-Grasp 方法，通过卷积神经网络 Angle-View Net（AVN）预测抓手的 SO（3）方向和 FAS 模块计算抓手的张开宽度和与抓点的距离，解决机器人领域中的物体抓取问题，并在 GraspNet-1Billion 数据集上取得了最先进的结果。

    Mar, 2021

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019