Sep, 2022
利用常识先验知识重建动作条件下的人 - 物互动
Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors
Xi Wang, Gen Li, Yen-Ling Kuo, Muhammed Kocabas, Emre Aksan...
TL;DR本研究通过应用基于 GPT-3 的大型语言模型的先验知识来推断人 - 物互动的多样化三维模型，通过提出一种基于行为调节模型的互动建模方法实现了对各种物体类别和互动类型的三维推理，从文本启示中推理人 - 物接触的关键洞察是大型文本模型能够帮助推理。通过在大型人 - 物互动数据集上进行定量评估，表明该方法可以产生更好的 3D 重建结果，并进一步在真实图像上进行定性评估，展示了其在互动类型和物体类别方面的普适性。