Mar, 2020

基于语义一致性的自监督单视图3D重建

HTML
PDF
TL;DR我们提出了一种自监督的，单视图三维重建模型，通过2D图像和物体的轮廓预测目标物体的3D网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的3D模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。
发现论文，激发创造
  • 单视角语义网格细化的多视图立体匹配

    本文提出了一种新颖的方法，通过应用变分方法和 MRF 来细化给定网格的几何和语义标注，并针对通过半监督学习直接估计类特定先验的方法进行了改进。

    Aug, 2017

  • 从图像集合学习类别特定的网格重建

    本文提出一种学习框架，可以从单个图像中恢复物体的3D形状、相机、和纹理，使用一个可变形的3D网格模型来表示形状，在不依赖于地面真值3D或多视图监督的情况下，利用注释的图像集进行训练并学习3D预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联，并在CUB和PASCAL3D数据集上展示了我们的方法的定性和定量结果。

    Mar, 2018

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的3D重建和新3D形状生成的问题。该方法支持弱监督学习，只需要单个实例的2D图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • 野外一致网格重建的在线适应

    本文提出了一种算法，用于从野外视频中重建变形对象实例的时间一致3D网格，不需要每个视频帧的3D网格注释，2D关键点或相机姿态，而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。

    Dec, 2020

  • 从运动学习骨骼类目的单目三维重建

    使用视频自监督和模板形变技术来实现单目3D重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

    Mar, 2021

  • 预训练、自训练、蒸馏：三维重建超强增强的简单配方

    本研究提出了一种统一的模型，用于针对数百个语义类别的单视图 3D 对象重建，并利用分割的图像集合来学习分类通用物体的 3D 形状，通过使用标准识别数据集的图像集进行评估，表明该方法使得对150个以上物体类别的3D推断成为可能。最终得到的 3D 重建模型还能够对未见物体类别的图像进行零样本推断，并且通过实验证明，增加训练类别的数量可以提高重建质量。

    Apr, 2022

  • 平面与椅子：无需任何3D提示的类别导向的三维形状学习

    本文提出了一种基于单个RGB图像学习预测隐式3D物体形状表征的新型3D形状重构方法，使用多种无视角注释的单视角图像进行跨类别学习且仅使用标签进行监督，辅以分类度量学习与对抗性和视点正则化技术，取得了ShapeNet-13，ShapeNet-55和Pascal3D +数据集上优于最先进方法的效果。

    Apr, 2022

  • 与邻居分享：利用跨实例一致性进行单视图重建

    本文提出了一种单视图重建方法——UNICORN，通过利用不同物体实例之间的一致性来避免使用视角注释，模板形状或对称性的监督和假设。该方法能够从大量未标记图像中学习，并通过渐进式的条件训练和邻居重建得到更好的结果。

    Apr, 2022

  • 基于原型形状先验的半监督单视角3D重建

    提出一种半监督三维重建框架SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在ShapeNet基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022

  • 通过稠密对应实现可变形物体的隐式形状表示的自监督学习

    使用自监督学习方法为可变形物体学习神经隐含形状表示法，无需特定语义领域的额外注释和大量变形约束，可用于纹理转移和形状编辑应用。

    Aug, 2023