基于扩散概率模型的人 - 物交互的分层生成

ICCVOct, 2023

基于扩散概率模型的人 - 物交互的分层生成

Hierarchical Generation of Human-Object Interactions with Diffusion Probabilistic Models

Huaijin Pi, Sida Peng, Minghui Yang, Xiaowei Zhou, Hujun Bao

TL;DR提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

Abstract

This paper presents a novel approach to generating the 3D motion of a human interacting with a target object, with a focus on solving the challenge of synthesizing long-range and diverse motions, which could not be fulfilled by existing auto-regressive models or path planning-based methods. We propose a →

3d motion generation human-object interaction hierarchical generation framework milestones motion synthesis

发现论文，激发创造

基于分层样式网络的动作合成

本文提出了一种自我监督的方法来生成多样且自然的人体动作，通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料，并通过参数化的双向插值方案保证了生成运动的物理合理性和视觉自然性。在大规模的骨架数据集上，我们展示了这个方法在生成长距离、多样化和合理化运动方面的能力，并且这种方法能够适应未见数据，在动态世界中这种生成的序列有实实在在的效果。

Aug, 2020

具有空间约束扩散模型的人类感知三维场景生成

通过扩展基于自回归的人体感知 3D 场景生成方法，本研究探索了扩散模型在同时考虑多个输入人体和底图的情况下生成逼真三维场景的潜力，并引入了人物物体碰撞避免和房间边界约束等空间碰撞导向机制来避免与人体动作冲突的场景生成。大量实验结果表明，与现有最先进方法相比，我们的框架可以生成更自然、更逼真的三维场景，具有精确的人体场景交互，并显著减少人物物体碰撞。

Jun, 2024

在 3D 室内场景中合成多样的人体动作

提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

May, 2023

3D 控制合成运动人物

利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

Jan, 2024

使用分层深度潜变量模型进行概率角色动作合成

提出了一种基于概率框架生成角色动画的方法，该方法基于弱控制信号生成逼真的动作序列，并保留人类运动的随机性。所提出的层次循环模型映射每个子序列的运动到一个随机潜变量代码，使用在时间领域上扩展的变分自动编码器。同时，提出一个考虑每个关节对姿势产生影响的目标函数，并基于角度距离比较关节角度。打造两个新的定量协议和人类定性评估，证明算法能够生成具有说服力和多样性的周期性和非周期性运动序列，而不需要强控制信号。

Oct, 2020

面向多样化和自然的场景感知 3D 人体运动合成

本文针对现有智能场景下的动作合成技术存在的目标、位置预定及动作多样性不足等问题，提出了一种基于多样性因素的分层框架方法，以提高人类动作合成的自然度与多样性。实验表明，该框架在场景感知的人类动作合成中具有很好的效果。

May, 2022

在 3D 场景中合成长期的 3D 人体动作和互动

本文提出一种层次生成框架，通过优化多个几何约束和建模场景互动和应用来合成涉及长期 3D 人体动作的逼真生成，并在实验中得出了比之前更好的实验结果。

Dec, 2020

随机多人三维运动预测

该论文提出了一种新型的人类运动预测任务，针对多人运动、社交交互和关节运动的复杂性，提出了一种模型框架，通过引入可学习的潜在编码来表示未来动作的意图来实现不同层次的独立个体运动和社交交互建模，在多个数据集上得到了显著的多人预测结果，表现显著优于现有技术水平。

Jun, 2023

生成模型增强的人体动作预测

提出了一种基于生成模型的新的 out-of-distribution (OoD) 基准，用于预测人类运动，并且这种方法能够有效地提高模型的鲁棒性和可解释性。

Oct, 2020

可控制的人 - 物互动合成

在这项工作中，我们提出了一种名为 Controllable Human-Object Interaction Synthesis (CHOIS) 的方法，它利用语言描述、初始物体和人体状态以及稀疏的物体路点同时生成物体运动和人体动作，通过引入物体几何损失和设计指导项来提高生成的物体运动和输入物体路点之间的匹配，并确保与地板接触的精确手 - 物体接触和适当接触的真实性。

Dec, 2023