Apr, 2024

利用个人信息生成人类互动

PDF
TL;DR生成人际动作互动可以根据文本描述，应用于机器人、游戏、动画和元宇宙等多个领域；本文提出了在人际动作生成中困扰的问题以及解决方案，包括使用扩展了 InterHuman 数据集的 in2IN 扩散模型以及结合 in2IN 和 HumanML3D 进行模型组合的 DualMDM，进一步提高了个体多样性和对个体动态的控制。
human-human motion interactionsconditioned on textual descriptionsdiffusion modelintra-personal diversitymodel composition technique
发现论文，激发创造
  • InterGen: 复杂交互下基于扩散的多人运动生成

    本文提出了一种有效的扩散性方法 InterGen，通过考虑人与人之间的交互并将其融入到运动扩散过程中，使普通用户只需使用文本指导即可自定义高质量的两人互动动作。

    Apr, 2023

  • InterControl：通过控制每个关节生成人类动作交互

    模型 InterControl 利用大型语言模型规划器将人的交互描述转化为接触计划，通过基于接触计划的空间可控运动生成方法实现交互生成，进而实现对每个人的每个关节的灵活空间控制。

    Nov, 2023

  • InterDreamer: 零激活文本向三维动态人物 - 物体交互

    通过使用预训练的大型模型和文本到动作模型，本文介绍了一种名为 InterDreamer 的框架，能够以零样本的方式生成与文本指令无缝对齐的逼真和连贯的 3D 人物 - 物体交互序列。

    Mar, 2024

  • 从文本描述中生成三维场景的人类动作

    通过将任务分解为两个可管理的子问题：目标对象的语言准确性和以目标对象为中心的运动生成，本文提出了一种新的方法来生成给定人 - 场景交互文本描述的 3D 室内场景中的人体动作，实验表明我们的方法在运动质量方面优于基线并验证了我们的设计选择。

    May, 2024

  • 通过强化学习学习具有通用性的人体运动生成器

    以文本为驱动的人体动作生成作为计算机辅助内容创作的重要任务之一，近年来越来越受到关注。本文提出了一种以马尔可夫决策过程为基础的文本到动作生成算法 InstructMotion，通过优化奖励设计，同时在配对数据和合成文本数据上进行训练，实现了全局语义级别的文本与动作对齐和更好地对新的提示进行泛化，从而在定量和定性上取得了出色的性能。

    May, 2024

  • InterAct: 捕捉和建模日常场景中两人之间逼真、富有表情和互动的活动

    我们提出了一种在日常情景中准确捕捉和表达两个人之间交互行为的问题的解决方案，与先前的工作不同，我们同时模拟两个人的活动，并针对常常持续较长时间的以目标驱动、动态和连贯性交互为目标，我们捕捉了一个名为 InterAct 的新数据集，其中包含 241 个运动序列，两个人在整个序列中表演一个真实情景，我们的数据集中捕捉到了两个人的音频、肢体动作和面部表情。我们还演示了一种基于扩散模型的方法，仅通过音频直接估计两个人之间的互动动作。所有数据和代码将在论文接受后可供研究目的使用。

    May, 2024

  • 人际互动生成的二分图扩散模型

    本文介绍了一种新的双分图扩散方法（BiGraphDiff），用于生成两个人之间的自然人体动作交互，通过模拟骨架节点之间的几何约束，利用基于 Transformer 的交互图扩散模型与先进的动作方法相结合。结果表明，该方法在人体交互生成任务的主要基准测试上实现了最新的最优结果。

    Jan, 2023

  • 社会行为生成的二人互动建模

    人际交流模型可通过 Dyadic Interaction Modeling 生成 3D 面部动作，该模型考虑听者的非语言行为，利用编码离散潜在表示生成多样且逼真的运动。

    Mar, 2024

  • 在 3D 室内场景中合成多样的人体动作

    提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

    May, 2023

  • 使用扩散模型进行灵活的动作中间插值

    通过使用扩散模型生成多样化的人体动作，该研究提出了一种能够根据用户指定的空间限制和文本条件生成精确且多样化的动作的条件运动扩散补间方法（CondMDI）。在评估了该方法在 HumanML3D 数据集上的性能后，研究进一步探讨了基于引导和插值的方法，以及与这些方法相比，CondMDI 在推理时间关键帧创建方面的优势。

    May, 2024