hSMAL:用于运动模式识别的马匹形态和姿态详细重建
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
系统通过机器学习前端预测 2D 关节位置,离散优化获得关节对应关系,并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动,该系统在动物视频测试中展现出精准重建的能力。
Nov, 2018
通过使用音频来增强从单眼视频中恢复马的 3D 形状和运动的方法,我们在室内跑步机数据集和室外捕获的多样化马运动数据集上测试了我们的方法,并发现将声音与视觉数据结合可以实现更准确和稳定的运动回归。这是第一项研究探讨音频在动物 3D 运动恢复中的作用。
Jul, 2024
本文介绍了一种从 4 个同时监控相机录制的视频中重建马的 3D 姿势的管道,该管道包括训练 2D 无标记姿势估计模型,然后将其应用于视频并执行三角测量。通过数值评估结果(误差分析),以及展示所实现姿势在所选行为预测的下游任务中的实用性,本文证明了模型的准确性。而对于马的预测模型的分析显示出对于疼痛诱发马存在偏见,这与我们对于疼痛和健康主体行为变化的理解是一致的。
Jun, 2023
MagicPony 是一种新的方法来从野外单视图图像中学习预测一个关节动物(如马)的 3D 形状、关节、视点、纹理和照明,它将神经场和网格的优势结合在一起,通过蒸馏自监督的 Transformer,并使用新的视点采样方案,为视角估计提供协助,实现了重构艺术的优秀泛化能力。
Nov, 2022
该研究通过使用一个新颖的基于部件的形状模型,从玩具模型的 3D 扫描中学习了一个能表示狮子、猫、狗、马、奶牛和河马等动物形状的统计形状模型,并通过将人工智能技术运用于真实动物的图像中,证明了它的普适性。
Nov, 2016
提出了 Animal3D 数据集,为哺乳动物的 3D 姿态和形状估计提供了全面的数据集,实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务,合成预训练是提高模型性能的一种可行策略。
Aug, 2023
引入了 HuMoR:一种用于鲁棒估计时间姿态和形状的 3D 人体运动模型。该模型是一个表达能力强的条件变分自编码器生成模型,学习了运动序列每一步姿态变化的分布。通过灵活的优化方法,可以利用 HuMoR 运动先验知识从模糊的观察中鲁棒地估计出合理的姿态和形状。经过广泛的评估,证明我们的模型在大量运动捕捉数据集上训练后,可以推广到多样化的动作和身体形状,并且可以从多种输入模态(包括 3D 关键点和 RGB (-D) 视频)重建运动。
May, 2021
本文提出了一种基于 SMPLify 方法的全自动方法,可以从多视角视频中估计三维人体运动和身体形状,并利用 CNN 方法和 DCT 时间先验方法来提高精度,并且在标准基准测试中的结果与最先进的方法相当,同时还提供了一个逼真的 3D 形状 Avatar。
Jul, 2017
本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法,能够从单张无约束的图像中自动预测人体的姿态和形状,实现了对人体结构和运动的精确推断。
Jul, 2016