3D Menagerie: 模拟动物的三维形状和姿态
提出了 Animal3D 数据集,为哺乳动物的 3D 姿态和形状估计提供了全面的数据集,实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务,合成预训练是提高模型性能的一种可行策略。
Aug, 2023
利用 2D 互联网图像学习 3D 动物模型的方法 3D-Fauna,通过组合几何感应的先验知识和自主监督特征提取器隐式捕捉的语义知识,克服了模型动物所面临的有限训练数据挑战,并构建了一个关节应用的 3D 网格,仅需几秒钟便可基于任何四足动物的单张图像重建。
Jan, 2024
本文提出了一种基于用户标记图片和动物模板的体积变形框架,通过学习每个局部区域的硬度值,动态调整模板三维网格来实现动物变形与模拟,其优于未学习硬度值的方法,适用于高度可形变和关节灵活的动物模型。
Jul, 2015
本文介绍了一种使用关节模板和物种的图像来捕捉新物种的方法,重点关注鸟类。通过解开姿态和形状,从图像证据中学习捕捉各物种和每个物种内部变化的形状空间,并使用低维嵌入,展示了所学 3D 形状空间比感知特征更好地反映了鸟类之间的系统关系,并提供了一些新的物种特定和多物种形状模型,有利于下游重建任务。
May, 2021
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
本工作提出了一个实际问题设置来估计动物(如马)的 3D 姿态和形状,该问题仅提供了几张(10-30)野外图像作为输入。利用 LASSIE 优化框架,发现 3D 部件并利用自我监督的深度特征强制实施 2D-3D 部件一致性,实验结果表明相比于过去的方法,本文提出的方法在 3D 重建和 3D 部分发现方面表现更好。
Jul, 2022
本文提出了一种名为 DensePose 3D 的方法,通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体(例如人和动物)的三维重建,同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分,再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影,与基于非刚性结构运动的最新基线方法相比,在合成和真实数据上对人和动物进行了显著改进。
Aug, 2021
通过在动物自然环境下的图片中捕捉 Grevy 斑马的 3D 姿态、形状和纹理信息,为探究动物健康和行为提供了新的路径。该研究开发了一种新的方法,将 SMAL 动物模型与基于网络的回归管道相结合,通过训练合成图片,实现了对斑马形状和姿态的预测,为仅使用光度损失从图像学习形状空间提供了新的途径,并可用于在其他具有受限 3D 监督的情况下学习形状。具体地,该方法称为 SMALST,不仅可以预测动物的 3D 形状、姿态和纹理,而且在预测纹理图的基础上,可以无监督地优化特征。
Aug, 2019
本文中,我们从最大可获得的商业扫描数据库中重建了一个广泛使用的统计人体表示,并使得产生的模型对社区可用。我们为了学习模型而预处理了几千次扫描,因此开发了强大的最佳实践解决方案,以排列扫描。我们在广泛的评估中展示出新模型的改进准确性和普遍性,并显示了它对于从稀疏输入数据中恢复人体的改进性能。
Mar, 2015
系统通过机器学习前端预测 2D 关节位置,离散优化获得关节对应关系,并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动,该系统在动物视频测试中展现出精准重建的能力。
Nov, 2018