Motion-DVAE: 快速人体运动去噪的无监督学习
本研究提出一种名为 MEVA 的基于自动编码器的运动压缩技术,将人类运动分解为平稳运动表示和通过运动细化学习的残差表示,从而捕捉人类运动的粗略整体动作和个人特定细节。实验结果表明,该方法产生了平稳和准确的 3D 人体姿态和运动估计。
Aug, 2020
本文介绍了一种运用VAE和Transformer-Based架构实现人体运动序列的有条件生成,以及改进行为识别和降噪等两种应用。
Apr, 2021
引入了HuMoR:一种用于鲁棒估计时间姿态和形状的3D人体运动模型。该模型是一个表达能力强的条件变分自编码器生成模型,学习了运动序列每一步姿态变化的分布。通过灵活的优化方法,可以利用HuMoR运动先验知识从模糊的观察中鲁棒地估计出合理的姿态和形状。经过广泛的评估,证明我们的模型在大量运动捕捉数据集上训练后,可以推广到多样化的动作和身体形状,并且可以从多种输入模态(包括3D关键点和RGB(-D)视频)重建运动。
May, 2021
该研究提出了一种新颖的基于稀疏约束的3D人体姿态和形状估计方法,通过高效计算 Gauss-Newton 方向并利用优化问题的稀疏约束性质,将优化时间缩短到4ms左右,并成功地将其应用于单张图像的实时运动捕捉领域。
May, 2021
本研究提出了一种新的深度生成模型,利用组合的全局和局部潜空间进行粗细粒度建模,独立于特定任务地学习复杂的人体运动,并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画,从不完整的观察中生成完整的运动。
Jun, 2021
本文中提出了一种统一的深度生成网络,用于多样化和可控的人体运动预测,该网络基于正则化流姿势先验和关节角损失函数,能够有效地提高模型的准确性和样本多样性。
Aug, 2021
本研究提出了一种利用D&D学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构3D人体运动,并通过概率接触扭矩和基于注意力的PD控制来实现弱监督的接触状态,从而在大规模3D人体运动基准测试中表现出优越的性能。
Sep, 2022
通过将运动先验以对抗的方式整合进来,本文针对神经网络模型在人体姿态回归中要求对身体运动先验的作用进行了探索和研究,并证明了该算法在3D领域中具有较高的鲁棒性和准确性。
May, 2023
DPoser是一种基于扩散模型的强大而多功能的人体姿势先验,它在包括人体网格恢复、姿势完成和动作降噪在内的各种姿势中心应用中无缝集成,并通过采用变分扩散采样进行有效求解,它在多个任务中展示了其优越性。
Dec, 2023
该论文介绍了通过视频和2D关键点之间的跨模态潜在特征空间对三维人体运动和2D输入之间进行运动先验对齐的Video-to-Motion Generator (VTM),该方法通过将运动数据分别建模为上半身和下半身,以及使用尺度不变的虚拟骨架与运动数据对齐,展示了在重建单目视频中的三维人体运动方面具有领先水平的表现,尤其是在未见过的视角和野外视频中的泛化能力。
Apr, 2024