CVPRMar, 2022

利用品种信息从图像中学习回归 3D 狗形状

PDF
TL;DR该论文提出了一种名为 BARC 的新方法，该方法通过对犬种相似性的研究，解决了从单幅图像中恢复犬只 3D 形态和姿态的难题，证明了基因相似性的先验信息可以帮助弥补缺乏 3D 训练数据的不足。
发现论文，激发创造
  • 谁放出了狗？基于期望最大化的 3D 动物重建方法

    我们介绍了一种自动化的端到端方法，用于从单眼互联网图像中恢复狗的 3D 姿态和形状。

    Jul, 2020

  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024

  • 从 RGBD 传感器预测犬类姿态的 RGBD-Dog

    本文提出了一种基于 RGBD 图像的 3D 犬姿态估计方法，利用运动捕捉系统录制大量犬只的运动并生成数据集，使用堆叠沙漏网络进行 3D 关节点定位并结合形态和姿态的先验模型。我们在合成和实际 RGBD 图像上评估了模型，并将结果与以前发表的相关工作进行了比较。

    Apr, 2020

  • 利用度量和语义属性进行精准的三维人体形状回归

    通过采集互联网上的时尚模特图片和一小部分人体测量数据，以及用于各种三维身体网格的语言形状属性，我们训练了一种名为 SHAPY 的神经网络，该模型可从 RGB 图像中回归出三维人物的姿态以及形状。在新的 HBW 数据集上进行测试，SHAPY 在三维人体形状估计任务上表现出色，明显优于现有技术。

    Jun, 2022

  • 通过 3D 部件发现，从稀疏图像集合中学习关节形状的 LASSIE 模型

    本工作提出了一个实际问题设置来估计动物（如马）的 3D 姿态和形状，该问题仅提供了几张（10-30）野外图像作为输入。利用 LASSIE 优化框架，发现 3D 部件并利用自我监督的深度特征强制实施 2D-3D 部件一致性，实验结果表明相比于过去的方法，本文提出的方法在 3D 重建和 3D 部分发现方面表现更好。

    Jul, 2022

  • 大小生物之形态和动作恢复：基于视频的应用

    系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。

    Nov, 2018

  • BCNet：从单张图片中学习人物和服装的形状

    本文提出了一种基于 SMPL 的分层服装表示方法，通过使服装区分于身体网格并独立于其蒙皮权重，实现了更高的表达能力和更好的几何恢复效果，并结合训练数据集展示了其在服装重构和身体形状恢复方面的优势，同时也可以实现像重新姿势、服装转移和服装纹理映射等应用。

    Apr, 2020

  • Animal3D: 一份全面的 3D 动物姿势和形状数据集

    提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。

    Aug, 2023

  • 鸟之好：从图像中捕获鸟类形态模型

    本文介绍了一种使用关节模板和物种的图像来捕捉新物种的方法，重点关注鸟类。通过解开姿态和形状，从图像证据中学习捕捉各物种和每个物种内部变化的形状空间，并使用低维嵌入，展示了所学 3D 形状空间比感知特征更好地反映了鸟类之间的系统关系，并提供了一些新的物种特定和多物种形状模型，有利于下游重建任务。

    May, 2021

  • 从视频中重建可动画类别

    利用可微分渲染实现从单个视频中生成人，猫和狗等动物的可动态三维模型，并通过优化特定的骨架实现实例化，使用潜在空间正则化鼓励类别间的共享结构并同时维护实例的细节和使用三维背景模型将对象与背景分离。

    May, 2023