Jun, 2023

ARTIC3D：从嘈杂的网络图片集中学习鲁棒的关节式 3D 模型

PDF
TL;DRARTIC3D 是一种自监督框架，通过 2D 扩散先后提取骨架表面表示和指导 3D 优化，估算高保真度的图形和纹理，且可产生更真实的动画效果。
3d articulated shapesself-supervised frameworkdiffusion priors3d optimizationrealistic animations
发现论文，激发创造
  • 通过 3D 部件发现，从稀疏图像集合中学习关节形状的 LASSIE 模型

    本工作提出了一个实际问题设置来估计动物（如马）的 3D 姿态和形状，该问题仅提供了几张（10-30）野外图像作为输入。利用 LASSIE 优化框架，发现 3D 部件并利用自我监督的深度特征强制实施 2D-3D 部件一致性，实验结果表明相比于过去的方法，本文提出的方法在 3D 重建和 3D 部分发现方面表现更好。

    Jul, 2022

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • 从网络图像中使用关键点伪标签学习关节点姿态

    本文提出了一种可以利用少量标记为二维关键点的图片进行单目三维建模的方法，包括训练类别特定的关键点估计器、在未标记的网络图像上生成二维关键点伪标记和利用标记和自标记集合共同训练三维重建模型等步骤，实现了对多个复杂物体的三维重建，可以迅速启动模型且易于适应新的物体种类。

    Apr, 2023

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • 基于分布深度的物体关节模型估计

    提出了一种基于深度图像学习关节模型分布的方法，通过螺旋理论、von Mises-Fisher 分布和 Stiefel 流形的数学结构，提供一种有效的、数学上严谨的表示形式，并结合 DUST-net 神经网络提供模型的不确定性评估。

    Aug, 2021

  • REACTO：从单个视频中重建关节化物体

    从单一视频中重构一般关节式 3D 物体的挑战已被克服，引入了新的变形模型，通过优化部件建模、加强刚性以及精确运动和无缝变形，提高了一般关节式物体的 3D 重建质量。

    Apr, 2024

  • 从运动学习骨骼类目的单目三维重建

    使用视频自监督和模板形变技术来实现单目 3D 重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

    Mar, 2021

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • 无监督学习高效的几何感知神经关节表示

    该研究提出了一种基于生成对抗网络（GAN）的无监督 3D 几何感知表征学习方法，成功地实现了对复杂关节动态物体的控制性 3D 表征的学习，同时避免了传统方法需要用昂贵的标注数据，在实践中具有较好的效果和效率。

    Apr, 2022