Dandan Shan, Jiaqi Geng, Michelle Shu, David F. Fouhey
TL;DR本文提出了一种从互联网视频中提取手部状态信息的方法，通过收集大规模数据集并建立学习模型，该方法能够推测出手部位置、接触状态以及所接触的物体，支持 3D 网格的建模。
Abstract
Hands are the central means by which humans manipulate their world and being
able to reliably extract hand state information from internet videos of humans
engaged in their hands has the potential to pave the way to systems that can
learn from petabytes of video data. This paper propos
本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。