CVPRApr, 2023

Shape-Net: 利用知识蒸馏和 3D 形状作为额外输入的全景图像鲁棒遮挡房间布局估计

PDF
TL;DR该论文提出了一种名为 Shape-Net 的方法，通过将 2D 全景和 3D 信息提供给模型，引入 3D IoU 损失来解决遮挡问题，同时通过从同时利用图像和 3D 信息训练的模型中提取知识来解决实际情况下缺乏建筑图纸的问题。该模型是基于现有模型进行改良，实现了对房间布局的精确估算，同时能够有效处理具有遮挡的情况。
发现论文，激发创造
  • 利用几何和深度学习从全景图像创建布局

    该论文提出了一种从单个全景图像中恢复室内场景的三维布局恢复新方法，该方法结合几何推理和深度学习技术，从而提取结构角并生成房间的布局模型，并在 SUN360 和 Stanford 公共数据集上进行实验。

    Jun, 2018

  • 学习三维物体的形状和布局，无需三维监督

    本研究提出了一种基于多视图图像的方法，用于识别三维场景的对象形状和布局，通过在大型数据集上的实验，证明该方法可扩展应用于现实图像，并与依赖三维信息的方法相比，表现得更好。

    Jun, 2022

  • LayoutNet：从单个 RGB 图像重建三维房间布局

    该研究提出了一种算法，可以从单张全景图像中预测房间布局，不仅适用于全景图像和透视图像，也适用于长方体布局和更一般的布局形式，方法采用基于消失点的图像对齐，预测多个布局元素，并将结果拟合为受限制的曼哈顿布局，速度和准确率都达到了现有全景图像相关算法的较好水平，并可以处理长方体形状和更一般的曼哈顿布局。

    Mar, 2018

  • 通过正交平面分离和多视角几何一致性感知进行 360 布局估计

    通过提出正交平面解缠网络 (DOPNet) 以分辨模糊语义和针对水平深度与比例的无监督自适应技术，本研究在全景布局估计和多视角布局估计任务中优于其他 SoTA 模型。

    Dec, 2023

  • OmniLayout: 室内球形全景图的房间布局重建

    本文提出了使用球形卷积，设计了一个名为 OmniLayout 的网络，该网络直接在球面表面上进行卷积，并使用新的评估指标证明了该网络可以有效地解决全景图像中局部扭曲的问题，最终在两个基准数据集上的表现也优于其他同类网络。

    Apr, 2021

  • 利用单个 360 度图像对曼哈顿房间布局进行重建：现有技术方法的比较研究

    该论文总结和描述了从 360 全景图中预测布局的常见框架、变体和设计决策所产生的影响，同时提出了 Matterport3D 数据集的扩展注释和两个基于深度的评估指标。

    Oct, 2019

  • 使用渲染比较实现从单一视角获取的一般三维室内布局

    本文提出一种解决单视角条件下房间（墙壁，地板，天花板）的三维布局重建问题的新方法，使用离群点检测和优化方法，在处理布局中的遮挡时提高了重建的准确性，同时创建了扫描网数据集以便对方法进行数量化评价。

    Jan, 2020

  • PanoRoom：从球体到 3D 布局

    我们提出了一种新型的 FCN，能够与全向图像一起工作，输出精确的概率地图，表示室内场景的主要结构，能够适用于不同的数据。我们的方法处理遮挡，并且更准确地恢复了房间实际形状。我们不仅在 3D 模型精度方面优于现有技术，而且在速度方面也优于现有技术。

    Aug, 2018

  • 超越曼哈顿世界假设的三维房间布局估计

    本文提出了基于最新的三维室内布局估计模型的训练和后处理方法，实验结果显示我们的方法在预测可见室内布局方面比现有方法大幅优越，并在 2020 年全面场景结构与 3D 视觉研讨会获得了第三名。

    Sep, 2020

  • 基于深度曼哈顿霍夫变换的全景图立方体贴图室内三维布局估计

    通过学习可学习的 Hough Transform block 来实现将图像特征从 cubemap tile 转换为曼哈顿世界的 Hough 空间，并直接将特征映射到几何输出，从而预测 3D 空间中的墙壁。

    Jul, 2022