本文提出了一种基于稀疏表面标记预测人体运动的方法,通过MOJO模型生成高频成分的动画,使用SMPL-X模型保证解决方案符合身体的真实形态,并取得了最先进的结果。
Dec, 2020
通过构建大规模逼真人体运动数据集,对合成与真实数据进行综合分析,以提高在多人实际场景下的人体姿态及形状识别技术应用的效果。
Dec, 2021
本文探讨了从文本生成3D全身运动的问题,并提出了运动令牌的使用方法,结合神经机器翻译模型进行任务的处理,通过实验数据对比,表明我们的方法在这两个任务上具有优越性。
Jul, 2022
该研究介绍了 Motion-X 数据集及其构建方法,包含全身运动数据、姿态描述、语义标注等,采用高精度、低成本、可扩展的自动化流程进行数据标注,旨在提高生成自然、多样、表达丰富的运动以及进行3D人体网格恢复的能力。
Jul, 2023
人体运动生成是生成自然人体姿势序列的目标,具有广泛的实际应用潜力。本文是人体运动生成领域的首篇综述文献,介绍了人体运动和生成模型的背景,并对三个主流子任务(文本条件、音频条件和场景条件的人体运动生成)的代表方法进行了审查。此外,还概述了常见数据集和评估指标,并讨论了开放问题和潜在的未来研究方向。希望该综述能够为社区提供对这个快速发展领域的全面了解,并激发解决尚未解决的挑战的新思路。
通过细粒度人体动作扩散模型 (FG-MDM) ,我们成功地生成了符合文本描述的多样化和高质量的人类动作,即使在训练数据分布之外。
Dec, 2023
提出了用于生成双手动作的新型多模态数据集BOTH57M,包括准确的人体和手部动作跟踪、手指级别的手部标注和身体描述。使用两个并行的身体到手部和文本到手部扩散模型,通过交叉注意力变换器实现动作融合,从混合的身体和文本条件中生成令人信服的双手动作。将数据集和源代码提供给社区进行未来研究。
本研究解决了生成在训练阶段未见动作类别的真实3D人类运动的挑战。我们提出了一种新方法,将复杂动作分解为简单运动,并结合扩散模型的特性来合成真实动画。实验结果表明,该方法在生成不在训练数据中的运动类别方面具有显著的潜力和实用价值。
Sep, 2024
本研究针对传统方法在整体姿势量化中的缺陷,提出了一种将每个关节单独量化为向量的新方法。这种方法不仅简化了量化过程,保留了关节之间的空间关系和时间运动模式,且在多个数据集上的实验结果显示,其性能显著优于现有方法,特别是在HumanML3D和KIT-ML数据集上分别提升了26.6%和29.9%。
本研究针对当前人类运动理解领域中缺乏大规模高质量运动数据的问题,提出了首个百万级运动生成基准MotionBase,数据量是之前最大数据集的15倍,包含多模态数据和分层详细文本描述。研究表明,数据和模型规模的扩展至关重要,且现有评估指标在处理域外文本指令方面存在不足,为运动生成模型的进一步发展提供了重要的见解和基础。
Oct, 2024