面向场景的人体运动合成生成网络
本文针对现有智能场景下的动作合成技术存在的目标、位置预定及动作多样性不足等问题,提出了一种基于多样性因素的分层框架方法,以提高人类动作合成的自然度与多样性。实验表明,该框架在场景感知的人类动作合成中具有很好的效果。
May, 2022
本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频:可信的运动预测和协调的外观生成,旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力,并在保持外观连贯性的同时处理异常和嘈杂数据,实验证明其优于现有技术。
Jul, 2018
本文提出一种层次生成框架,通过优化多个几何约束和建模场景互动和应用来合成涉及长期 3D 人体动作的逼真生成,并在实验中得出了比之前更好的实验结果。
Dec, 2020
该论文提出了一个半监督 GAN 系统,用于合成一个角色的反应动作,给定来自另一个角色的活动动作。通过使用基于部分的 LSTM 模块和判别器来实现对复杂的时空信息和不同类型交互的监督,证明了该系统的有效性和鉴别性。
Oct, 2021
人体运动生成是生成自然人体姿势序列的目标,具有广泛的实际应用潜力。本文是人体运动生成领域的首篇综述文献,介绍了人体运动和生成模型的背景,并对三个主流子任务(文本条件、音频条件和场景条件的人体运动生成)的代表方法进行了审查。此外,还概述了常见数据集和评估指标,并讨论了开放问题和潜在的未来研究方向。希望该综述能够为社区提供对这个快速发展领域的全面了解,并激发解决尚未解决的挑战的新思路。
Jul, 2023
提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互,包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面,实验结果表明,该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。
May, 2023
我们介绍了一种利用稀疏关键点在三维场景中合成动画指导人类运动的方法,该方法通过将连续运动合成问题分解为沿路径行走和在关键点指定的动作之间的转换,生成长序列的动作,并在目标为原点的规范坐标系中生成运动以实现持续运动合成。
Apr, 2023
本文通过提出新的三阶段框架来对人类运动进行长期预测,在考虑环境场景的情况下大大提高了预测准确性,并提供了具有清晰注释的多样化合成数据集来实现稳定的训练和严格的评估。
Jul, 2020
本文章提出了一种基于序列到序列模型的、名为 HP-GAN 的人体运动预测方法,用于深度神经网络建模和学习算法中的概率估计和合成数据生成任务;该方法利用改进的 Wasserstein GAN 和自定义损失函数进行训练,并进行了多种动作类型和数据集的测试,其预测能力的表现可通过只用 10 帧输入生成超过 30 帧的多个合理预测结果来体现。
Nov, 2017
本文提出了一种自我监督的方法来生成多样且自然的人体动作,通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料,并通过参数化的双向插值方案保证了生成运动的物理合理性和视觉自然性。在大规模的骨架数据集上,我们展示了这个方法在生成长距离、多样化和合理化运动方面的能力,并且这种方法能够适应未见数据,在动态世界中这种生成的序列有实实在在的效果。
Aug, 2020