重建相互作用人体的三维模型
本文提出了一种从单个RGB视频自动重建与对象的人交互的3D运动的方法,估计人和物体的3D姿势,接触位置,被人类肢体激活的力和扭矩,方法主要集中在联合估计运动和动作力,运用大规模的轨迹优化问题,并且从输入视频自动识别出人与物体或地面之间的接触位置和时间,于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。
Apr, 2019
该研究通过利用场景结构、建立人体与场景之间的“临近关系与对象排除法”来更好地从单眼图像中估计人体姿势,并显示引入场景约束可以显著减少3D关节误差和顶点误差。
Aug, 2019
本文提出了一种自接触预测模型(SCP),并采用特定的3D损失来显式地强制进行自接触,以解决现有3D重建方法对于身体自接触区域的忽略问题,并在自接触特征限制下研究更具表现力的3D重建,最终在多视图图像上提出一种面部接触的单目检测方法。
Dec, 2020
本研究通过建立3D接触姿势数据集、利用该数据集创建出Mimic-The-Pose(MTP)图像数据集多样性,开发了新的优化算法SMPLify-XMC和SMPLify-DC,形成了全新的3D人体姿态估计模型TUCH,并证明该模型显著提高了3D人体姿势估计的精确度。
Apr, 2021
D3D-HOI是一种包含具有三维物体姿态、形状和部件运动的人-物交互的单目视频的数据集,其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示,可用于评估收缩的对象质量和建立对该挑战性任务的基准。
Aug, 2021
研究了从RGB视频中重建人与关节物体交互的3D姿态,通过系统性实验验证了五种方法的可行性,结果显示这一任务具有很大挑战性并提出了未来工作方向。
Sep, 2022
通过视觉远程操作收集数据和获取姿态估计和接触信息,提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习,可以提高联合手和关节物体姿态估计的性能。
May, 2023
理解人类如何通过身体接触与世界互动对于实现以人为中心的人工智能至关重要。我们关注于推断全身表面与任意图像中的物体之间的密集3D接触,通过构建新的数据集DAMON以及训练新的3D接触检测器DECO,在各种基准测试中显著优于现有方法,同时展示DECO在自然图像中广泛适用于多样且具有挑战性的真实人类互动。
Sep, 2023
我们提出了CG-HOI,这是第一个解决从文本中生成动态3D人物-物体交互(HOIs)任务的方法。我们通过在训练和推断过程中显式地建模人体表面与物体几何之间的接触来引导人体和物体的运动,从而生成更真实、物理上可行的交互序列。
Nov, 2023
基于引导扩散框架,我们提出了一个新方法:根据给定的互动标签生成参与互动的3D人体,通过自适应地估计潜在的接触区域和使用它们作为指导,我们演示了在CHI3D数据集上的ContactGen方法生成与比较方法相比更加真实多样的姿势。
Jan, 2024