Mar, 2018

从图像集合学习类别特定的网格重建

PDF
TL;DR本文提出一种学习框架，可以从单个图像中恢复物体的 3D 形状、相机、和纹理，使用一个可变形的 3D 网格模型来表示形状，在不依赖于地面真值 3D 或多视图监督的情况下，利用注释的图像集进行训练并学习 3D 预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联，并在 CUB 和 PASCAL3D 数据集上展示了我们的方法的定性和定量结果。
发现论文，激发创造
  • 无标注图像集的隐式网格重建

    使用有前景蒙版的类别级图像集合进行有限监督学习，推断出单个 RGB 图像的物体的 3D 形状、纹理和相机姿态，并展示其在大约 30 个物体类别上的应用可行性。

    Jul, 2020

  • 无需关键点的形状和视点

    本文提出了一个无监督类别特定网格重构学习框架，可以从一组没有 3D 地面真实值的图像中恢复出物体的 3D 形状、姿态和纹理，并维护了一个优化的摄像机假设集以更好地解释给定形状和纹理的图像，并在 CUB、Pascal 3D 和新的网页抓取数据集上获得了最先进的摄像机预测结果。

    Jul, 2020

  • 从单个图像中重建特定类别的物体

    本文介绍了一种基于像素输入和 3D 刚性类别的输出的自动化流程，通过从现有物体检测数据集中学习可变形的 3D 模型并结合底层模块进行高频率形状细节恢复，实现了在单幅图像中获取真实场景下物体的三维表面重建，通过在最近引入的 PASCAL 3D + 数据集上的全面定量分析和消融研究展示了非常令人鼓舞的自动重建效果。

    Nov, 2014

  • 基于语义一致性的自监督单视图 3D 重建

    我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。

    Mar, 2020

  • 从运动学习骨骼类目的单目三维重建

    使用视频自监督和模板形变技术来实现单目 3D 重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

    Mar, 2021

  • 利用自监督形状与姿态网络从图像集合转换为点云

    提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

    May, 2020

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习，只需要单个实例的 2D 图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • Image2Mesh: 单张图像三维重建的学习框架

    本文提出了一种使用基于网格的表示来捕捉三维重构任务中的细粒度几何信息的学习框架，它使用自由形变和稀疏线性组合的紧凑网格表示来重建三维物体，相比之前的工作，我们不依赖于轮廓和标记来进行三维重建，并在合成和真实数据集上进行了很有前途的实验结果验证。

    Nov, 2017

  • 通过形状、姿态和着色的生成建模学习单张图片的三维重建

    该研究提出了一种新的框架，可以在只有 2D 图像且每个实例只有一个视角的情况下，从单张图像中进行特定类别的三维重建和新形状的生成，并支持较弱的监督。采用网格作为输出表达方式，利用光照参数和明暗信息进行训练，支持对洼地的物体类别进行学习。通过五项应用评估，发现该方法的性能表现优于现有的一些方法。

    Jan, 2019

  • 可微分点云的无监督形状和姿态学习

    该研究使用卷积神经网络训练能够从单个图像预测出物体的 3D 形状和相机姿态的模型，并通过一组 pose 预测器进行姿势模糊处理，并利用可微分 3D 点云投影技术来获取高保真度的形状模型。

    Oct, 2018