Jul, 2022

通过 3D 部件发现，从稀疏图像集合中学习关节形状的 LASSIE 模型

PDF
TL;DR本工作提出了一个实际问题设置来估计动物（如马）的 3D 姿态和形状，该问题仅提供了几张（10-30）野外图像作为输入。利用 LASSIE 优化框架，发现 3D 部件并利用自我监督的深度特征强制实施 2D-3D 部件一致性，实验结果表明相比于过去的方法，本文提出的方法在 3D 重建和 3D 部分发现方面表现更好。
articulated 3d modelsanimalsreconstruction techniqueslassie optimization frameworkself-supervised deep features
发现论文，激发创造
  • ARTIC3D：从嘈杂的网络图片集中学习鲁棒的关节式 3D 模型

    ARTIC3D 是一种自监督框架，通过 2D 扩散先后提取骨架表面表示和指导 3D 优化，估算高保真度的图形和纹理，且可产生更真实的动画效果。

    Jun, 2023

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • 从网络图像中使用关键点伪标签学习关节点姿态

    本文提出了一种可以利用少量标记为二维关键点的图片进行单目三维建模的方法，包括训练类别特定的关键点估计器、在未标记的网络图像上生成二维关键点伪标记和利用标记和自标记集合共同训练三维重建模型等步骤，实现了对多个复杂物体的三维重建，可以迅速启动模型且易于适应新的物体种类。

    Apr, 2023

  • 从图像集合中发现三维部件

    本文提出了一种自我监督的方法（LPD）来发现只有 2D 图像的物体的三维部件，并使用新的部件形状先验学习足够简单而又能忠实地匹配物体形状的部件，这种方法在实验中表现良好，比现有方法具有更好的重构精度。

    Jul, 2021

  • 3D 网格形状和姿态的无监督分离

    本文提出了一种简单但有效的无监督学习方法，结合自一致性和交叉一致性约束，并将尽可能刚性形变集成到训练循环中，以学习体态模型中的形状和姿态空间，并演示了学习表示的实用性，包括姿势转移和形状检索，实验证明了该方法的通用性。

    Jul, 2020

  • Animal3D: 一份全面的 3D 动物姿势和形状数据集

    提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。

    Aug, 2023

  • 3D Menagerie: 模拟动物的三维形状和姿态

    该研究通过使用一个新颖的基于部件的形状模型，从玩具模型的 3D 扫描中学习了一个能表示狮子、猫、狗、马、奶牛和河马等动物形状的统计形状模型，并通过将人工智能技术运用于真实动物的图像中，证明了它的普适性。

    Nov, 2016

  • MagicPony: 在自然场景中学习可动性三维动物

    MagicPony 是一种新的方法来从野外单视图图像中学习预测一个关节动物（如马）的 3D 形状、关节、视点、纹理和照明，它将神经场和网格的优势结合在一起，通过蒸馏自监督的 Transformer，并使用新的视点采样方案，为视角估计提供协助，实现了重构艺术的优秀泛化能力。

    Nov, 2022

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024