Dec, 2023

可控制的人 - 物互动合成

PDF
TL;DR在这项工作中，我们提出了一种名为 Controllable Human-Object Interaction Synthesis (CHOIS) 的方法，它利用语言描述、初始物体和人体状态以及稀疏的物体路点同时生成物体运动和人体动作，通过引入物体几何损失和设计指导项来提高生成的物体运动和输入物体路点之间的匹配，并确保与地板接触的精确手 - 物体接触和适当接触的真实性。
semantic-awarehuman-object interactionlanguage descriptionsconditional diffusion modelobject geometry loss
发现论文，激发创造
  • 基于扩散概率模型的人 - 物交互的分层生成

    提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

    Oct, 2023

  • HOI-Diff: 使用扩散模型基于文本驱动合成的三维人 - 物交互

    我们研究了通过文本指令生成逼真的三维人 - 物互动问题。我们采用模块化设计，将复杂任务分解为简单子任务。我们开发了双分支扩散模型（HOI-DM）来生成人和物体的动作，并通过人和物体动作生成分支之间的交叉注意力通信模块来促进一致的动作。我们还开发了互动预测扩散模型（APDM）来预测通过文本指令驱动的人和物体之间的接触区域。APDM 相对于 HOI-DM 结果是独立的，并且可以纠正后者的潜在错误。此外，它可以随机生成接触点，以多样化生成的动作。最后，我们将估计的接触点合并到分类器引导中，实现准确和密切的人与物之间的接触。通过注释 BEHAVE 数据集的文本描述来训练和评估我们的方法。实验结果表明，我们的方法能够产生具有各种互动和不同类型物体的逼真的人 - 物互动。

    Dec, 2023

  • 基于目标运动引导的人类运动合成

    通过将物体运动作为条件，我们提出了一种能够从物体运动中生成全身操作行为的条件扩散框架（OMOMO），该框架学习两个独立的去噪过程，首先从物体运动中预测手的位置，然后基于预测的手位置合成全身姿势，从而显式地强制执行接触约束，从而产生更加真实可信的操作动作。

    Sep, 2023

  • CG-HOI: 接触引导的三维人体物体交互生成

    我们提出了 CG-HOI，这是第一个解决从文本中生成动态 3D 人物 - 物体交互（HOIs）任务的方法。我们通过在训练和推断过程中显式地建模人体表面与物体几何之间的接触来引导人体和物体的运动，从而生成更真实、物理上可行的交互序列。

    Nov, 2023

  • 人体物体交互：基于人类级别指令

    能够从人类级别的指示中同时合成对象运动、全身运动和手指运动的第一个完整系统。

    Jun, 2024

  • 语义控制下的人 - 场景交互合成

    本研究提出了一种名为 COINS 的生成模型，可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。

    Jul, 2022

  • 注视引导的手物互动合成：基准与方法

    我们介绍了第一个注视引导的手 - 物体交互数据集，并提出了一个新颖的注视引导的手 - 物体交互综合任务。我们的数据集 GazeHOI 通过同时建模注视、手和物体的交互，包含 479 个序列，平均持续时间为 19.1 秒，812 个子序列和 33 个具有不同大小的物体。我们提出了一个基于注视引导的手 - 物体交互扩散模型 GHO-Diffusion 的分层框架。我们的广泛实验突出了数据集的独特性及我们方法的有效性。

    Mar, 2024

  • SynH2R：用于学习人机交接的合成手 - 物体动作

    通过引入适合训练机器人的合成数据，我们提出了一个能够生成逼真人类抓取动作的框架，通过对合成数据的纯训练，证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美，并且能够扩展到更多未知物体和人类动作的大规模评估。

    Nov, 2023

  • 在 3D 场景中合成真实可行的人类动作

    构建了一个框架，通过分解人 - 场景交互为相互作用和导航两个基本过程，实现了在复杂的三维场景中进行长期交互任务的真实物理模拟角色。

    Aug, 2023

  • 在 3D 场景中合成长期的 3D 人体动作和互动

    本文提出一种层次生成框架，通过优化多个几何约束和建模场景互动和应用来合成涉及长期 3D 人体动作的逼真生成，并在实验中得出了比之前更好的实验结果。

    Dec, 2020