人体运动生成调查

Jul, 2023

Human Motion Generation: A Survey

Wentao Zhu, Xiaoxuan Ma, Dongwoo Ro, Hai Ci, Jinlu Zhang...

TL;DR人体运动生成是生成自然人体姿势序列的目标，具有广泛的实际应用潜力。本文是人体运动生成领域的首篇综述文献，介绍了人体运动和生成模型的背景，并对三个主流子任务（文本条件、音频条件和场景条件的人体运动生成）的代表方法进行了审查。此外，还概述了常见数据集和评估指标，并讨论了开放问题和潜在的未来研究方向。希望该综述能够为社区提供对这个快速发展领域的全面了解，并激发解决尚未解决的挑战的新思路。

Abstract

human motion generation aims to generate natural human pose sequences and shows immense potential for real-world applications. Substantial progress has been made recently in motion data collection technologies and generation methods, laying the foundation for increasing interest in hum

human motion generation conditional signals generative models datasets evaluation metrics

发现论文，激发创造

面向场景的人体运动合成生成网络

本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

May, 2021

从文本描述中生成三维场景的人类动作

通过将任务分解为两个可管理的子问题：目标对象的语言准确性和以目标对象为中心的运动生成，本文提出了一种新的方法来生成给定人 - 场景交互文本描述的 3D 室内场景中的人体动作，实验表明我们的方法在运动质量方面优于基线并验证了我们的设计选择。

May, 2024

Action2Motion: 条件化生成三维人体动作

研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

Jul, 2020

激光人：自由环境下基于语言引导的场景感知人体运动生成

为了解决现有数据集的限制，我们引入了 LaserHuman，这是一个开创性的数据集，旨在革新 Scene-Text-to-Motion 研究。LaserHuman 通过包含 3D 环境中的真实人类动作，自由形式的自然语言描述，室内外场景的混合以及动态、不断变化的场景而脱颖而出。多样的采集数据和丰富的注释为条件运动生成研究提供了巨大机遇，也可以促进实际应用的开发。此外，为了生成语义一致且物理可行的人体动作，我们提出了一个简单但有效的多条件扩散模型，在现有数据集上达到了最先进的性能。

Mar, 2024

人体运动轨迹预测：综述

该研究调查了人类运动轨迹预测的现有方法，提出了一个基于运动建模方法和上下文信息水平的分类法，讨论了目前技术的局限性并提出了未来研究的方向。

May, 2019

FreeMotion：多模态大型语言模型的无动捕人体动作合成

通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

Jun, 2024

通过强化学习学习具有通用性的人体运动生成器

以文本为驱动的人体动作生成作为计算机辅助内容创作的重要任务之一，近年来越来越受到关注。本文提出了一种以马尔可夫决策过程为基础的文本到动作生成算法 InstructMotion，通过优化奖励设计，同时在配对数据和合成文本数据上进行训练，实现了全局语义级别的文本与动作对齐和更好地对新的提示进行泛化，从而在定量和定性上取得了出色的性能。

May, 2024

姿势引导的人体视频生成

本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频：可信的运动预测和协调的外观生成，旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力，并在保持外观连贯性的同时处理异常和嘈杂数据，实验证明其优于现有技术。

Jul, 2018

使用扩散模型进行受形状限制的人体动作生成

我们提出了一种基于形状条件的运动扩散模型（SMD），该模型可以直接在网格格式中生成运动序列，并结合了频谱 - 时间自编码器（STAE）以在频谱域内利用跨时依赖关系。通过广泛的实验评估，我们证明了 SMD 不仅可以生成栩栩如生的真实动作，而且在文本转换和动作转换任务中与最先进的方法相比具有竞争力的性能。

May, 2024

面向开放领域的多人动作驱动文本合成

本研究旨在从文本描述中生成多个人的自然和多样化的群体动作。我们利用大规模图像和视频数据集估计姿势信息，通过基于 Transformer 的扩散框架，实现了多个数据集中任意数量主题或帧的生成。实验证明，我们的方法是第一个能从多样的文本提示中生成高多样性和保真度的多主体运动序列的方法。

May, 2024