Nov, 2023

HACD：单目手持物体重建的手部感知条件扩散

PDF
TL;DR通过使用概率点云去噪扩散模型，我们提出了一种面向单眼手持物体重建的手感知条件扩散方法（HACD），该方法通过手 - 物体交互的语义和几何角度进行建模，通过手顶点先验将部分去噪点云的质心偏移限制在一个范围内，并通过增强局部特征投影的稳定性和精度来提高形状的重构稳定性和精度，实验证明我们的方法在 ObMan、HO3D 和 MOW 数据集上超过了所有现有方法。
hand-held objectsrgb image3d object templatesprobabilistic point cloud denoising diffusion modelmonocular hand-held object reconstruction
发现论文，激发创造
  • HOIDiffusion: 生成真实的三维手物体交互数据

    利用 HOIDiffusion 方法生成了逼真且多样化的三维手物体交互数据，并将其用于学习 6D 物体位姿估计，提高感知系统的效果。

    Mar, 2024

  • 手中单目 RGB 视频的三维物体重建

    本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

    Dec, 2023

  • 基于扩散导向的日常手 - 物交互重建剪辑

    我们通过对短视频剪辑进行手物体交互的重建任务。以输入视频为基础，我们的方法将 3D 推断视为每个视频的优化，并恢复物体形状的神经 3D 表示，以及时间变化的动作和手关节。尽管输入视频自然地提供了一些多视角线索来指导 3D 推断，但由于遮挡和有限的视角变化，这些线索本身并不足够。为了获得准确的 3D 结果，我们使用通用的数据驱动先验来引导重建过程中的多视角信号。具体来说，我们学习了一个扩散网络，来建模基于手配置和类别标签的对象（几何）渲染的条件分布，并利用它作为先验来指导重建场景的新视角渲染。我们在 6 个物体类别的自我中心视频上对我们的方法进行了实证评估，并观察到相较于先前的单视角和多视角方法有显著的改进。最后，我们展示了我们的系统能够从 YouTube 中重建任意剪辑，展示了第一人称和第三人称的交互。

    Sep, 2023

  • DiffHand: 基于扩散模型的端到端手部网格重建

    利用一种基于扩散的手部三维网格重建框架 ——DiffHand，利用噪声模拟中间手网格的不确定性分布进行渐进式去噪过程，设计跨模态解码器来更好地模拟手顶点的连通性，从而达到优于先前方法 5.8mm PA-MPJPE 的最优表现。

    May, 2023

  • 重建手持物体的三维

    对象手动操纵，手持物体重建，MCC-HO，检索增强重建，三维标签。

    Apr, 2024

  • HOLD：从视频中无类别限制地重建互动的手部和物体的 3D 模型

    通过使用单目交互视频，我们提出了 HOLD，它是第一个无需 3D 手物体注释就能从中复原出联合的手和物体的方法，通过使用一个组合的隐式模型，能够从 2D 图像中复原出解缠细分的 3D 手和物体，并进一步结合手物体约束来改善复原质量，在实验室和入迷环境中优于全监督基线方法。

    Nov, 2023

  • CCD-3DR: 单图像三维重建中的一致条件限制扩散

    该论文提出了一种利用扩散模型生成单个 RGB 图像中捕捉到的物体的三维稀疏点云的新型形状重构方法，该方法利用了一种新的中心扩散概率模型，用于一致的局部特征条件约束。在合成基准 ShapeNet-R2N2 和实际数据集 Pix3D 上进行的大量实验表明，CCD-3DR 在性能上优于竞争对手超过 40％。

    Aug, 2023

  • HandDiff: 图像点云上基于扩散的 3D 手部姿态估计

    基于扩散模型，本文提出了 HandDiff，一种基于手型图像点云的迭代去噪准确手势姿态估计模型，旨在通过联合条件和局部细节条件，恢复关键点排列和准确位置，并在四个具有挑战性的手势姿态基准数据集上显著优于现有方法。

    Apr, 2024

  • O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

    本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

    Aug, 2023

  • 从野外视频中学习手持物体重建

    本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法，并使用数据驱动的三维形状先验进行训练，结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。

    May, 2023