Nov, 2023

InterControl：通过控制每个关节生成人类动作交互

PDF
TL;DR模型 InterControl 利用大型语言模型规划器将人的交互描述转化为接触计划，通过基于接触计划的空间可控运动生成方法实现交互生成，进而实现对每个人的每个关节的灵活空间控制。
text-conditioned human motion generation modelinteractionlarge language model plannerintercontrolspatial control
发现论文，激发创造
  • OmniControl：人体动作生成的任意时间控制

    OmniControl 通过扩展传播过程，将灵活的空间控制信号融入文本条件下的人体运动生成模型中，并引入了分析空间引导和现实引导来提高控制精度和运动逼真性。

    Oct, 2023

  • 人体物体交互：基于人类级别指令

    能够从人类级别的指示中同时合成对象运动、全身运动和手指运动的第一个完整系统。

    Jun, 2024

  • 利用个人信息生成人类互动

    生成人际动作互动可以根据文本描述，应用于机器人、游戏、动画和元宇宙等多个领域；本文提出了在人际动作生成中困扰的问题以及解决方案，包括使用扩展了 InterHuman 数据集的 in2IN 扩散模型以及结合 in2IN 和 HumanML3D 进行模型组合的 DualMDM，进一步提高了个体多样性和对个体动态的控制。

    Apr, 2024

  • InterGen: 复杂交互下基于扩散的多人运动生成

    本文提出了一种有效的扩散性方法 InterGen，通过考虑人与人之间的交互并将其融入到运动扩散过程中，使普通用户只需使用文本指导即可自定义高质量的两人互动动作。

    Apr, 2023

  • 可控制的人 - 物互动合成

    在这项工作中，我们提出了一种名为 Controllable Human-Object Interaction Synthesis (CHOIS) 的方法，它利用语言描述、初始物体和人体状态以及稀疏的物体路点同时生成物体运动和人体动作，通过引入物体几何损失和设计指导项来提高生成的物体运动和输入物体路点之间的匹配，并确保与地板接触的精确手 - 物体接触和适当接触的真实性。

    Dec, 2023

  • 学习人机交互的多模态潜在动力学

    本文介绍一个从人与人互动学习到人机互动的方法，通过使用隐马尔可夫模型作为潜在空间先验，并结合变分自编码器来建模互动代理之间的联合分布。利用从人与人互动中学习到的互动动力学来学习人机互动，并将人类观测结果作为训练基础，从而预测更准确的机器人轨迹。进一步通过逆运动学调整生成的机器人动作，以确保与人之间的期望物理接近性，结合了关节空间学习的便利性和准确的任务空间可达性。在富含接触的互动中，我们利用 HMM 分割来调节机器人的刚度以实现柔顺的互动。通过用户评测，我们验证了所提方法在一个人形机器人上的有效性。尽管仅通过两个人的数据进行训练，我们的方法在不同人类之间表现出很好的泛化性能。实验结果表明，用户认为我们的方法更具人性化、及时性和准确性，并且较其他基准方法更具优势。

    Nov, 2023

  • ContactGen: 为合作伙伴提供基于接触指导的交互式三维人体生成

    基于引导扩散框架，我们提出了一个新方法：根据给定的互动标签生成参与互动的 3D 人体，通过自适应地估计潜在的接触区域和使用它们作为指导，我们演示了在 CHI3D 数据集上的 ContactGen 方法生成与比较方法相比更加真实多样的姿势。

    Jan, 2024

  • TLControl：人体运动综合的轨迹和语言控制

    TLControl 是一种新的方法，结合了低级轨迹和高级语义控制，用于合成真实的人类动作，在轨迹准确性和时间效率方面胜过现有技术，可实用于交互式和高质量的动画生成。

    Nov, 2023

  • InterDreamer: 零激活文本向三维动态人物 - 物体交互

    通过使用预训练的大型模型和文本到动作模型，本文介绍了一种名为 InterDreamer 的框架，能够以零样本的方式生成与文本指令无缝对齐的逼真和连贯的 3D 人物 - 物体交互序列。

    Mar, 2024

  • 在 3D 场景中合成真实可行的人类动作

    构建了一个框架，通过分解人 - 场景交互为相互作用和导航两个基本过程，实现了在复杂的三维场景中进行长期交互任务的真实物理模拟角色。

    Aug, 2023