Dec, 2016

透视变换网络：学习单视图三维物体重建，无需三维监督

HTML
PDF
TL;DR从学习代理的角度探究了单视角3D物体重建任务，提出了一种包含透视变换定义的新型投影损失的编码器-解码器网络，实现了从单个2D图像生成3D体积的无监督学习，并通过实验证明了投影损失提高了3D对象重建的性能和泛化能力。
发现论文，激发创造
  • 卷积网络的单张图像多视角3D模型

    本文提出了一种卷积网络，可以仅仅基于单张图像预测出物体的RGB图和深度图，并将多幅深度图融合成完整点云后可转换成表面网格来对任意视野下的三维物体进行识别。网络通过合成的三维车和椅子模型进行训练，在有杂乱背景并搭配真实车辆图像的情况下，仍可生成合理的推测。

    Nov, 2015

  • ShapeCodes: 将视角提升至视图网格以进行自我监督特征学习

    本论文介绍了一种无监督学习方法，将三维形状信息嵌入到单视图图像表示中，通过使用单个2D图像的自监督训练目标，在没有人工语义标签的前提下，鼓励表示捕捉基本形状原语和语义规律，最终学习得到一个强大的表示方法，可以成功进行物体识别和“心理旋转”操作，成果优于相对应的其他无监督学习方法。

    Sep, 2017

  • 单视图三维重建的视角先验学习

    该研究提出了一种训练鉴别器和重构器的方法，在重构器中使用先验知识来纠正未被观察到的视角，以便从任意视角重新构建形状。与目前最先进的方法相比，实验结果表明该方法在合成和自然图像数据集上表现更好。

    Nov, 2018

  • 单视角三维重建网络学习什么？

    该研究提出了两种替代方法进行单视图对象重建，并证明了编码器-解码器方法与这些基线方法在统计上是无法区分的，从而表明当前单视图对象重建技术实际上是在进行图像分类，而非重建。同时，研究者还发现了实验程序中存在的一些问题，并提出了改进方法。

    May, 2019

  • 基于先验知识的单幅图像 3D 重建的少样本泛化

    本文提出一种新的模型架构，将单视角三维重建重新定义为分类无关的先验纠正学习，初步结果表明该模型可以从提供的少至一组三维形状开始对目标物品进行分类再建，无需重新训练，且对于多视角的立体成像也有较好表现。

    Sep, 2019

  • 基于组合先验的少样本单视图三维物体重建

    本文提出了三种针对三维重建少样本的方法，并将类先验有效地整合到模型中，以便考虑类内变异性和强制实施隐式组合结构，从而在少样本场景中显著优于现有基线模型，实验在ShapeNet数据集上。

    Apr, 2020

  • CoReNet：从单个 RGB 图像中重构连贯的 3D 场景

    该论文的研究结果表明在深度学习和编码器-解码器架构的帮助下，使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型，并且同样的技术可以从单张图像中重构出多个 3D 物体模型，并处理遮挡问题。

    Apr, 2020

  • 基于学习的三维重建的泛化

    本文研究了学习基础的3D重建方法在体现经验偏好时的架构问题，发现编码器空间范围、场景几何特征描述和多视图信息聚合机制对性能的影响，并提出相应的机制以增强对这些经验偏好的表达。在ShapeNet基准测试中，我们的模型在各种设置下均实现了最先进的成果。

    Jun, 2020

  • LegoFormer：面块级别多视角三维重构的变形器

    LegoFormer是一种基于transformer模型的体素3D重建技术，通过使用自注意力层在所有计算阶段分享视角之间的信息，并将输出分解为低秩矩阵，从而实现对各个独立结构的预测和聚合，具有竞争性的性能和可解释性的优点，可用于现实数据的广义重建任务。

    Jun, 2021

  • 使用视觉Transformer进行高效的3D物体重建

    使用视觉transformer替代卷积在现有的高效，高性能的3D目标重建技术中，预测三维结构并取得类似或优于基线方法的准确度，表明视觉transformer在三维目标重建任务中有着巨大的潜力。

    Feb, 2023