Motion-X:大规模三维表现全身人体运动数据集
本文提出了一种从单目视角输入捕获目标人物3D运动的方法,利用3D可变形网格模型重建运动,使用3D部分方向场对所有身体部位的3D方向进行编码,在训练集和性能评估方面表现良好,并在各种挑战性的野外视频上演示了总体运动捕捉的结果。
Dec, 2018
本研究提出了通过单目图像计算实现人体姿态、手部姿态和面部表情三维模型的方法,主要使用了一个新的、一致的、包含完全表达手和面部表情的人体模型SMPL-X,可以对受控图像和自然环境图片进行三维模型匹配。
Apr, 2019
本文提出了一种基于稀疏表面标记预测人体运动的方法,通过MOJO模型生成高频成分的动画,使用SMPL-X模型保证解决方案符合身体的真实形态,并取得了最先进的结果。
Dec, 2020
D3D-HOI是一种包含具有三维物体姿态、形状和部件运动的人-物交互的单目视频的数据集,其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示,可用于评估收缩的对象质量和建立对该挑战性任务的基准。
Aug, 2021
提出了一种从单眼视频中恢复时间一致的3D人体姿势、形状和动作的方法,通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化,结合自相似性和自注意力等技术进行时空特征聚合,该方法提供了增强的时空上下文,可在各种复杂场景下得到更准确的姿势估计和形状重建。
Nov, 2023
我们提供了一项关于基于文本的三维人体动作检索的研究结果,重点关注跨数据集的泛化问题。通过采用统一的SMPL人体格式,我们能够对一个数据集进行训练,对另一个进行测试,或者对多个数据集进行训练。研究结果表明,标准的文本-动作基准数据集(如HumanML3D、KIT Motion-Language和BABEL)存在数据集偏差。我们展示了文本增强在一定程度上可以缩小领域差距,但仍存在差距。此外,我们首次提供了使用BABEL进行零样本动作识别的结果,而在训练过程中没有使用分类动作标签,开辟了未来研究的新方向。
May, 2024
通过关注二维空间,本研究引入一种新的一般人类动作生成方法,使用名为Holistic-Motion2D的大规模二维整体动作数据库和名为Tender的创新方法进行生成,展示了二维动作数据在生成多样、真实的人类动作方面的有效性及其对各种下游应用的潜力。
Jun, 2024
本研究解决了3D动作编辑中的数据不足和源动作忠实编辑模型设计的问题。通过建立一种方法论,半自动收集新的MotionFix数据集,利用条件扩散模型TMED实现基于文本的动作编辑。结果表明,模型在三元组数据上训练的性能优于仅基于文本和动作配对的数据,为精准动作生成的进一步研究奠定了基础。
Aug, 2024
本研究针对文本提示生成类人动画中的面部表情和手部动作缺失问题,提出了一种两阶段的方法T2M-X,从部分标注的数据中学习表现性文本到动作生成。通过训练三种独立的矢量量化变分自编码器和多索引生成预训练变换器,该方法显著提高了生成运动的一致性和质量,显示出在数据集局限下的稳健性。
Sep, 2024
本研究解决了如何构建和基准化大规模运动模型(LMM)的问题。通过整合13个视频动作数据集,创建了MotionBank,包括124万条运动序列,提供了丰富的自然人类运动数据,改进了运动与文本的对齐,显著推动了人类运动生成及理解相关任务的发展。
Oct, 2024