该论文提出了一种名为 MOHO 的方法，利用手 - 物视频的多视角监督来从单个图像中重建手持物体，解决了物体自身遮挡和手引起的遮挡等两个主要挑战，通过输入语义特征和手关节提供的几何嵌入作为局部到全局的线索，克服了物体的自身遮挡问题，此外还提出了一种新颖的 2D-3D 手 - 物遮挡感知训练方案来消除手引起的遮挡。

Oct, 2023

本文旨在从单目视频中获取手部和操纵对象的三维重构，提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集，并量化评估了该方法。

Aug, 2021

本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

Dec, 2023

对象手动操纵，手持物体重建，MCC-HO，检索增强重建，三维标签。

Apr, 2024

本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。

Dec, 2020

通过使用单目交互视频，我们提出了 HOLD，它是第一个无需 3D 手物体注释就能从中复原出联合的手和物体的方法，通过使用一个组合的隐式模型，能够从 2D 图像中复原出解缠细分的 3D 手和物体，并进一步结合手物体约束来改善复原质量，在实验室和入迷环境中优于全监督基线方法。

Nov, 2023

我们通过对短视频剪辑进行手物体交互的重建任务。以输入视频为基础，我们的方法将 3D 推断视为每个视频的优化，并恢复物体形状的神经 3D 表示，以及时间变化的动作和手关节。尽管输入视频自然地提供了一些多视角线索来指导 3D 推断，但由于遮挡和有限的视角变化，这些线索本身并不足够。为了获得准确的 3D 结果，我们使用通用的数据驱动先验来引导重建过程中的多视角信号。具体来说，我们学习了一个扩散网络，来建模基于手配置和类别标签的对象（几何）渲染的条件分布，并利用它作为先验来指导重建场景的新视角渲染。我们在 6 个物体类别的自我中心视频上对我们的方法进行了实证评估，并观察到相较于先前的单视角和多视角方法有显著的改进。最后，我们展示了我们的系统能够从 YouTube 中重建任意剪辑，展示了第一人称和第三人称的交互。

Sep, 2023

本文提出了一种利用自我监督的三维手部重建网络，通过利用易于提取的二维关键点从输入图像中获取几何线索，并通过一套新颖的损失函数推理出网络输出，以进行精确的手部重建。与使用手动标注数据训练的方法相比，我们的方法减少了对手动标注的依赖，并展示了在更少的监督数据下达到可比较的性能。

Mar, 2021

提出了一种通过自监督学习从单目视频中重构 3D 手部模型的方法，利用 2D 手部关键点和图像纹理约束进行姿态、形状、纹理、相机视角的估计，达到与全监督方法相似的重构性能，尤其是在视频训练数据下可以显著提高重构精度和一致性。

Jan, 2022

在稀疏多视图设置中，我们考虑了手 - 物体重建问题，给定同时捕获的手和物体的多个 RGB 图像，我们的模型 SVHO 将每个视图的预测融合成统一的重建，通过在合成手 - 物体数据集上训练，并在真实世界记录的未见过的物体的手 - 物体数据集上进行直接评估，我们显示出附加视图可以提高重建质量。

May, 2024