Dec, 2020

GlocalNet：基于类别感知的长期人体运动合成

PDF
TL;DR本文旨在解决人体运动合成方面存在的挑战，提出了一种两阶段活动生成方法，通过学习合成稀疏的运动轨迹和生成密集的运动轨迹来实现长期人体运动轨迹的合成，并通过多种量化评估指标证明该方法优于 SOTA 方法。
human motion synthesislong-term temporal dependenciesmulti-scale dependenciesactivity generation methodquantitative evaluation metrics
发现论文，激发创造
  • 基于分层样式网络的动作合成

    本文提出了一种自我监督的方法来生成多样且自然的人体动作，通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料，并通过参数化的双向插值方案保证了生成运动的物理合理性和视觉自然性。在大规模的骨架数据集上，我们展示了这个方法在生成长距离、多样化和合理化运动方面的能力，并且这种方法能够适应未见数据，在动态世界中这种生成的序列有实实在在的效果。

    Aug, 2020

  • 在 3D 场景中合成长期的 3D 人体动作和互动

    本文提出一种层次生成框架，通过优化多个几何约束和建模场景互动和应用来合成涉及长期 3D 人体动作的逼真生成，并在实验中得出了比之前更好的实验结果。

    Dec, 2020

  • 在多样化的 3D 场景中生成连续的人体动作

    我们介绍了一种利用稀疏关键点在三维场景中合成动画指导人类运动的方法，该方法通过将连续运动合成问题分解为沿路径行走和在关键点指定的动作之间的转换，生成长序列的动作，并在目标为原点的规范坐标系中生成运动以实现持续运动合成。

    Apr, 2023

  • 面向多样化和自然的场景感知 3D 人体运动合成

    本文针对现有智能场景下的动作合成技术存在的目标、位置预定及动作多样性不足等问题，提出了一种基于多样性因素的分层框架方法，以提高人类动作合成的自然度与多样性。实验表明，该框架在场景感知的人类动作合成中具有很好的效果。

    May, 2022

  • 基于场景上下文的人类长期动作预测

    本文通过提出新的三阶段框架来对人类运动进行长期预测，在考虑环境场景的情况下大大提高了预测准确性，并提供了具有清晰注释的多样化合成数据集来实现稳定的训练和严格的评估。

    Jul, 2020

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • FreeMotion：多模态大型语言模型的无动捕人体动作合成

    通过利用多语言多模态学习模型（MLLMs）的无动作数据，我们首次探索了基于自然语言指令的开放式人类动作合成，实现了通用的人类动作合成，为未来的研究铺平了道路。

    Jun, 2024

  • 通过建模运动环境和增强运动动态来进行长期人体运动预测

    本文提出了一种运动背景下的人类运动预测方法，通过摘要历史人类运动来生成当前预测，同时引入修改过的高速公路单元并最小化克矩阵损失来增强运动动态，能够有效地预测未来的人类动作并提高模型性能，同时能够进行运动背景下的人类运动转化。

    May, 2018

  • 基于长时程建模的人体运动时空流形学习

    本研究提出了一种基于深度学习的数据驱动建模方法，利用自然运动流形来处理人类运动中存在的多模态时空相关性及骨骼信息提取问题，并在多个应用场景中获得了优异的结果。

    Aug, 2019

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021