获取和推断密集全身人 - 场景接触
本文介绍了一种用于检测人与周围物体接触的新数据集 HOT,并使用该数据集训练了一个新的接触检测器,它可以输出 2D 接触热图以及处于接触状态的身体部位标签。该检测器采用了部分注意分支来通过周围身体部分和场景的上下文指导接触估计,并且定量的结果显示,该模型的性能优于基线,并且所有组件都对提高性能有贡献。
Mar, 2023
本文提出了一种自接触预测模型(SCP),并采用特定的 3D 损失来显式地强制进行自接触,以解决现有 3D 重建方法对于身体自接触区域的忽略问题,并在自接触特征限制下研究更具表现力的 3D 重建,最终在多视图图像上提出一种面部接触的单目检测方法。
Dec, 2020
理解人类如何通过身体接触与世界互动对于实现以人为中心的人工智能至关重要。我们关注于推断全身表面与任意图像中的物体之间的密集 3D 接触,通过构建新的数据集 DAMON 以及训练新的 3D 接触检测器 DECO,在各种基准测试中显著优于现有方法,同时展示 DECO 在自然图像中广泛适用于多样且具有挑战性的真实人类互动。
Sep, 2023
通过利用人与场景的交互可有效提高单目视频的 3D 场景重建,同时优化人的姿态估计,本论文基于三种 HSI 约束条件,即深度排序、是否穿插目标、接触面,使用优化方法再形成一致、物理合理且功能性 3D 场景布局,并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。
Mar, 2022
本文提出了 POSA 模型,用来学习人体与场景的交互,包括接触概率和语义场景标签,并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。
Dec, 2020
本研究通过建立 3D 接触姿势数据集、利用该数据集创建出 Mimic-The-Pose (MTP) 图像数据集多样性,开发了新的优化算法 SMPLify-XMC 和 SMPLify-DC,形成了全新的 3D 人体姿态估计模型 TUCH,并证明该模型显著提高了 3D 人体姿势估计的精确度。
Apr, 2021
该研究提出了一种利用人 - 物接触信息进行三维人体与物体联合重建的新方法 (CONTHO),通过 3D 引导接触估计和基于接触的三维人体与物体细化,实现了更准确的重建,取得了最先进的性能。
Apr, 2024
通过实例级隐式重建,我们提出了 Ins-HOI,一种端到端解决方案,用于恢复人与物体之间的详细交互。我们引入了实例级占据场来支持同时表示人 / 手和对象,并使用补充训练策略处理实例级基准缺失的问题。我们的方法 Ins-HOI 能够在极近交互的情况下生成合理和真实的非可见接触表面,并提供了一个大规模高保真度的 3D 扫描数据集用于研究。
Dec, 2023
本论文提出了一种详细的 2D-3D 联合表示学习方法,能够使计算机更好地理解人物和物体之间的交互行为,效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。
Apr, 2020