学习人 - 场景交互生成 3D 场景
通过利用人与场景的交互可有效提高单目视频的 3D 场景重建,同时优化人的姿态估计,本论文基于三种 HSI 约束条件,即深度排序、是否穿插目标、接触面,使用优化方法再形成一致、物理合理且功能性 3D 场景布局,并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。
Mar, 2022
该研究通过利用场景结构、建立人体与场景之间的 “临近关系与对象排除法” 来更好地从单眼图像中估计人体姿势,并显示引入场景约束可以显著减少 3D 关节误差和顶点误差。
Aug, 2019
本研究提出了一种名为 COINS 的生成模型,可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动,该模型通过编码统一的潜在空间和位置编码来嵌入互动语义,并可以自然地合成多个对象之间的组合互动,实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。
Jul, 2022
人 - 场景交互生成是一项具有挑战性且关键的任务,但是受到有限的数据规模的限制。通过将纯运动序列视作与不可见场景占用交互的记录,利用大规模配对的数据集 Motion Occupancy Base(MOB),我们提出了一种新的人 - 占有交互的统一视角。在 MOB 上训练的单个运动控制器可以处理狭窄的场景,并在复杂度有限的一般场景中具有良好的泛化性。我们的方法可以在各种场景中生成逼真且稳定的人 - 场景交互动作。
Dec, 2023
该研究通过构建一个新的名为 RICH 的数据集,使用 BSTRO 算法从单幅 RGB 图像中直接预测人体与场景的接触,在探索图像中覆盖的区域时,提出了一种新的非局部关系学习方法,并且通过实验证明了其比之前的方法具有更好的性能质。
Jun, 2022
本研究提出了一种全自动系统,用于将 3D 场景转换成自然姿势的 3D 人体,该系统采用基于表面的 3D 人体模型 SMPL-X,利用条件变分自编码器和场景约束,可以合成与 3D 环境自然交互的真实、表现力强的 3D 人体,适用于许多应用领域,例如人体姿势估计、视频游戏和 VR / AR。
Dec, 2019
本论文探讨了在三维室内场景中预测人类动作所需的可负担性建模技术,并通过引入语义和几何结构来创建大规模数据集合并使用三维姿态合成器预测出语义合理的人体姿态。最终的可负担性预测方法能够持续胜过现有的最新方法。
Mar, 2019
通过人类互动来推断三维物体及其姿势是可能的,即使用户只是在模仿功能而没有实体物体,此方法对 XR / VR 应用是可行的。
Jun, 2023