Aug, 2023

Animal3D: 一份全面的 3D 动物姿势和形状数据集

PDF
TL;DR提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。
3d poseshape estimationanimal3d datasetmammal speciessynthetic pre-training
发现论文，激发创造
  • 3D Menagerie: 模拟动物的三维形状和姿态

    该研究通过使用一个新颖的基于部件的形状模型，从玩具模型的 3D 扫描中学习了一个能表示狮子、猫、狗、马、奶牛和河马等动物形状的统计形状模型，并通过将人工智能技术运用于真实动物的图像中，证明了它的普适性。

    Nov, 2016

  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024

  • Three-D Safari: 从野外图像中学习估计斑马的姿态、形状和纹理

    通过在动物自然环境下的图片中捕捉 Grevy 斑马的 3D 姿态、形状和纹理信息，为探究动物健康和行为提供了新的路径。该研究开发了一种新的方法，将 SMAL 动物模型与基于网络的回归管道相结合，通过训练合成图片，实现了对斑马形状和姿态的预测，为仅使用光度损失从图像学习形状空间提供了新的途径，并可用于在其他具有受限 3D 监督的情况下学习形状。具体地，该方法称为 SMALST，不仅可以预测动物的 3D 形状、姿态和纹理，而且在预测纹理图的基础上，可以无监督地优化特征。

    Aug, 2019

  • 基于合成数据的鲁棒性类别层次 3D 姿态估计

    本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。

    May, 2023

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • SyDog: 用于改进 2D 姿态估计的合成犬数据集

    该研究介绍了一种使用虚拟实验数据集进行动物姿势估计的方法 ——SyDog，并表明这种方法较真实数据更有效。

    Jul, 2021

  • 动物姿势估计的跨域适配

    本文介绍了一种利用跨域适配方法和人类姿态数据集提升多种动物物种姿态估计的方法。实验表明，该方法可以很好地利用先验知识，并取得令人信服的结果。

    Aug, 2019

  • 3D 鸟类重建：数据集、模型及来自单视角的形状恢复

    自动捕捉动物姿态正在改变我们对于神经科学和社交行为的学习，本文提出了一种模型和多视角优化方法，用于捕捉鸟类的独特形状和姿态，并引入了一个管道和实验，实现了从单个视角恢复精确的鸟类姿态的关键点、掩码、姿势和形状回归。

    Aug, 2020

  • 鼠类和姿态：来自未标记数据和合成先验的 2D 鼠标姿态估计

    使用合成的经验姿势先验从未标记图像中估计 2D 鼠标身体姿势的方法可以在缺少注释的情况下探测和测量动物行为，展示了对其他动物物种的潜力。

    Jul, 2023

  • 学习 Web 的 3D Fauna

    利用 2D 互联网图像学习 3D 动物模型的方法 3D-Fauna，通过组合几何感应的先验知识和自主监督特征提取器隐式捕捉的语义知识，克服了模型动物所面临的有限训练数据挑战，并构建了一个关节应用的 3D 网格，仅需几秒钟便可基于任何四足动物的单张图像重建。

    Jan, 2024