CVPRNov, 2022

MagicPony: 在自然场景中学习可动性三维动物

PDF
TL;DRMagicPony 是一种新的方法来从野外单视图图像中学习预测一个关节动物（如马）的 3D 形状、关节、视点、纹理和照明，它将神经场和网格的优势结合在一起，通过蒸馏自监督的 Transformer，并使用新的视点采样方案，为视角估计提供协助，实现了重构艺术的优秀泛化能力。
发现论文，激发创造
  • Ponymation：从未标记的在线视频中学习 3D 动物动作

    我们引入了 Ponymation，一种从原始、未标记的在线视频中学习生成性模型的方法，该方法不需要任何姿势注释或参数化形状模型进行训练，并且纯粹是从从互联网获得的一系列原始视频片段中学习的。

    Dec, 2023

  • 通过 3D 部件发现，从稀疏图像集合中学习关节形状的 LASSIE 模型

    本工作提出了一个实际问题设置来估计动物（如马）的 3D 姿态和形状，该问题仅提供了几张（10-30）野外图像作为输入。利用 LASSIE 优化框架，发现 3D 部件并利用自我监督的深度特征强制实施 2D-3D 部件一致性，实验结果表明相比于过去的方法，本文提出的方法在 3D 重建和 3D 部分发现方面表现更好。

    Jul, 2022

  • 从网络图像中使用关键点伪标签学习关节点姿态

    本文提出了一种可以利用少量标记为二维关键点的图片进行单目三维建模的方法，包括训练类别特定的关键点估计器、在未标记的网络图像上生成二维关键点伪标记和利用标记和自标记集合共同训练三维重建模型等步骤，实现了对多个复杂物体的三维重建，可以迅速启动模型且易于适应新的物体种类。

    Apr, 2023

  • 3D Menagerie: 模拟动物的三维形状和姿态

    该研究通过使用一个新颖的基于部件的形状模型，从玩具模型的 3D 扫描中学习了一个能表示狮子、猫、狗、马、奶牛和河马等动物形状的统计形状模型，并通过将人工智能技术运用于真实动物的图像中，证明了它的普适性。

    Nov, 2016

  • CLHOP: 马匹 3D 姿态和形状估计的综合音视频学习

    通过使用音频来增强从单眼视频中恢复马的 3D 形状和运动的方法，我们在室内跑步机数据集和室外捕获的多样化马运动数据集上测试了我们的方法，并发现将声音与视觉数据结合可以实现更准确和稳定的运动回归。这是第一项研究探讨音频在动物 3D 运动恢复中的作用。

    Jul, 2024

  • ARTIC3D：从嘈杂的网络图片集中学习鲁棒的关节式 3D 模型

    ARTIC3D 是一种自监督框架，通过 2D 扩散先后提取骨架表面表示和指导 3D 优化，估算高保真度的图形和纹理，且可产生更真实的动画效果。

    Jun, 2023

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • 从 2D 图像学习动物的 3D 变形

    本文提出了一种基于用户标记图片和动物模板的体积变形框架，通过学习每个局部区域的硬度值，动态调整模板三维网格来实现动物变形与模拟，其优于未学习硬度值的方法，适用于高度可形变和关节灵活的动物模型。

    Jul, 2015

  • 大小生物之形态和动作恢复：基于视频的应用

    系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。

    Nov, 2018

  • 学习自合成动物

    使用合成图像和 CAD 动物模型生成的真值，使用提出的一种新颖的一致性约束半监督学习方法进行高度可变形的动物关键点预测。

    Dec, 2019