CVPRDec, 2021

奥德赛的漫游在 3D 场景中

PDF
TL;DR本研究的目标是在数字环境中，实现数字人具有多样的身体形态，永不停歇的移动，并具有合理的身体 - 场景接触。为此，我们提出了基于体表标记的生成式运动原语（GAMMA）来生成真实、可控和无限长的 3D 运动，实验显示出比基于数据的方法更真实可控的结果。
digital humansbody-shape diversityinfinite motion controlgenerative motion primitivesconditional variational autoencoder
发现论文，激发创造
  • 基于动作条件的即时运动生成

    提出了一种新的框架 ODMO，用于仅以动作类型为条件生成逼真且多样化的长期 3D 人体运动序列，并具有自定义功能。该编码器使用对比学习来创建运动序列的分层嵌入，解码器使用分层解码策略，使得整个运动序列的木乃伊能够被重构，从而实现了有效的运动轨迹控制，从而实现了首个模式发现、插值和轨迹自定义等自定义功能，该代码在 Github 页面上发布。

    Jul, 2022

  • 在 3D 室内场景中合成多样的人体动作

    提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

    May, 2023

  • 在多样化的 3D 场景中生成连续的人体动作

    我们介绍了一种利用稀疏关键点在三维场景中合成动画指导人类运动的方法，该方法通过将连续运动合成问题分解为沿路径行走和在关键点指定的动作之间的转换，生成长序列的动作，并在目标为原点的规范坐标系中生成运动以实现持续运动合成。

    Apr, 2023

  • 基于扩散概率模型的人 - 物交互的分层生成

    提出了一种新方法，通过 hieraechical generation framework 来生成 3D 运动，以解决生成多样且长距离运动的挑战，并且在 NSM、COUCH 和 SAMP 数据集上的实验证明该方法在质量和多样性方面优于以前的方法。

    Oct, 2023

  • 生成模型增强的人体动作预测

    提出了一种基于生成模型的新的 out-of-distribution (OoD) 基准，用于预测人类运动，并且这种方法能够有效地提高模型的鲁棒性和可解释性。

    Oct, 2020

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • HP-GAN：通过 GAN 实现的概率三维人体动作预测

    本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法，用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务；该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练，并进行了多种动作类型和数据集的测试，其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。

    Nov, 2017

  • 使用 DVGAN 进行人体动作建模

    本研究使用生成对抗网络（GANs）提出一种新颖的人体运动建模生成模型，通过每个时间尺度的密集验证和扰动鉴别器输入来实现运动生成与完成，并在 Human 3.6M 和 CMU 运动捕捉数据集上进行了评估。

    Apr, 2018

  • 集成多个 GAN 的控制性 3D 人体运动预测

    本文提出了一种基于控制参数的人体运动预测任务形式，使用复合 GAN 结构，包括不同身体部位的局部 GAN 和通过全局 GAN 聚合的，以便进行跨活动类型的可操作运动预测，本方法优于现有的最先进方法。

    Mar, 2021

  • WANDR：意向导向的人类动作生成

    用于 3D 人体模型的运动合成的数据驱动模型和生成模型方法，通过引入目的特征来驱动生成目标导向的自然动作，从而在不需要定义子目标或整个运动路径的情况下交互地适应新的情况，实现长期并能推广至未见目标位置的 3D 目标到达。

    Apr, 2024