Mar, 2020

基于语义一致性的自监督单视图 3D 重建

PDF
TL;DR我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。
self-supervised3d reconstructionsemantic coherencesingle-viewunsupervised
发现论文，激发创造
  • 利用自监督形状与姿态网络从图像集合转换为点云

    提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

    May, 2020

  • 单视角语义网格细化的多视图立体匹配

    本文提出了一种新颖的方法，通过应用变分方法和 MRF 来细化给定网格的几何和语义标注，并针对通过半监督学习直接估计类特定先验的方法进行了改进。

    Aug, 2017

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习，只需要单个实例的 2D 图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • 从图像集合学习类别特定的网格重建

    本文提出一种学习框架，可以从单个图像中恢复物体的 3D 形状、相机、和纹理，使用一个可变形的 3D 网格模型来表示形状，在不依赖于地面真值 3D 或多视图监督的情况下，利用注释的图像集进行训练并学习 3D 预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联，并在 CUB 和 PASCAL3D 数据集上展示了我们的方法的定性和定量结果。

    Mar, 2018

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022

  • 从运动学习骨骼类目的单目三维重建

    使用视频自监督和模板形变技术来实现单目 3D 重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

    Mar, 2021

  • 无需关键点的形状和视点

    本文提出了一个无监督类别特定网格重构学习框架，可以从一组没有 3D 地面真实值的图像中恢复出物体的 3D 形状、姿态和纹理，并维护了一个优化的摄像机假设集以更好地解释给定形状和纹理的图像，并在 CUB、Pascal 3D 和新的网页抓取数据集上获得了最先进的摄像机预测结果。

    Jul, 2020

  • 通过形状、姿态和着色的生成建模学习单张图片的三维重建

    该研究提出了一种新的框架，可以在只有 2D 图像且每个实例只有一个视角的情况下，从单张图像中进行特定类别的三维重建和新形状的生成，并支持较弱的监督。采用网格作为输出表达方式，利用光照参数和明暗信息进行训练，支持对洼地的物体类别进行学习。通过五项应用评估，发现该方法的性能表现优于现有的一些方法。

    Jan, 2019

  • 野外一致网格重建的在线适应

    本文提出了一种算法，用于从野外视频中重建变形对象实例的时间一致 3D 网格，不需要每个视频帧的 3D 网格注释，2D 关键点或相机姿态，而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。

    Dec, 2020

  • 无标注图像集的隐式网格重建

    使用有前景蒙版的类别级图像集合进行有限监督学习，推断出单个 RGB 图像的物体的 3D 形状、纹理和相机姿态，并展示其在大约 30 个物体类别上的应用可行性。

    Jul, 2020