Mar, 2019

将人类置于场景中：学习 3D 室内环境中的可支配性

PDF
TL;DR本论文探讨了在三维室内场景中预测人类动作所需的可负担性建模技术，并通过引入语义和几何结构来创建大规模数据集合并使用三维姿态合成器预测出语义合理的人体姿态。最终的可负担性预测方法能够持续胜过现有的最新方法。
发现论文，激发创造
  • 在 3D 场景中合成长期的 3D 人体动作和互动

    本文提出一种层次生成框架，通过优化多个几何约束和建模场景互动和应用来合成涉及长期 3D 人体动作的逼真生成，并在实验中得出了比之前更好的实验结果。

    Dec, 2020

  • 几何姿态可供性：带场景约束的三维人体姿态

    通过使用基于视觉的场景几何形状信息，我们提出了一种用于改善人体姿态估计的新颖机制：多层深度图。我们展示了这种方法可以提高 3D 姿态估计的精度。

    May, 2019

  • 将人置于其所在之处：考虑可支配性的人体插入场景

    本文提出了一种基于场景本质的方法来插入人物图像，使用扩散模型训练出可以在场景上自然插入的人物，支持交互式编辑。通过定量评估，证明了该方法比之前的方法更能合成出自然的人物形象和人 - 场景交互作用。

    Apr, 2023

  • 基于 Transformer 的场景感知人体姿势生成

    本研究针对上下文能力学习进行了探究，基于现有姿势模板的情况下，通过与场景特征映射的交互，采用查询嵌入方法有效预测每个姿势模板的比例和偏移，进而提高人体姿势生成的效果。

    Aug, 2023

  • 利用人类语境学习 3D 场景中的物品摆放

    本研究基于物体的易用性、可达性和相对人体姿态的关系，通过 3D 空间特征和 Dirichlet 过程混合模型学习场景中不同物体相对人体姿态的分布情况，并以此作为推理对象，通过合适的密度函数，预测物体在房间中的正确放置位置。实验证明，与最佳基线方法相比，该算法的平均误差小于 1.6 米，分数达到 4.3/5。

    Jun, 2012

  • 3D 一般物体的原始功能无监督学习

    通过自我监督方法，以及使用相对方向和近距离的人物和物体点之间的关系定义的新型能力表征，我们提出了一种创新的方法来生成三维能力示例，展示了我们方法和表征的有效性。

    Jan, 2024

  • 三维人体姿态估计几何感知表示的弱监督发现

    本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

    Mar, 2019

  • 在 3D 室内场景中合成多样的人体动作

    提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

    May, 2023

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • 自然移动，灵活互动：利用场景可控生成语言引导的人体动作

    在 3D 环境中，尽管在文本到运动合成方面取得了重大进展，但仍存在许多挑战，我们通过引入一种新的两阶段框架，使用场景赋能作为中间表示，有效地链接 3D 场景定位和条件运动生成，克服了生成多模态条件信号下的人类运动困难，特别是在缺乏广泛的语言 - 场景 - 运动数据对的有限数据训练时，验证了模型的出色泛化能力。

    Mar, 2024