CVPRApr, 2018

PlaneNet：从单个 RGB 图像中分段平面重建

PDF
TL;DR本研究提出了一种使用深度神经网络 (DNN) 从单个 RGB 图像重建分段平面深度图的方法，该方法可以直接从单个 RGB 图像学习一组平面参数和相应的分割掩码，并且在评估中表现出比基准方法更好的平面分割和深度估计精度。该方法是第一个可以从单个 RGB 图像进行分段平面重建的端到端神经网络结构。
发现论文，激发创造
  • 从单张图像进行 3D 平面检测和重建的 PlaneRCNN

    本论文提出一种称为 PlaneRCNN 的深度神经结构，可以从单个 RGB 图像检测和重构分段平面曲面，并且在基准测试中表现明显优于现有最先进的方法，具有重要的机器人学、增强现实和虚拟现实应用价值。

    Dec, 2018

  • 基于关联嵌入的单张图像分块平面三维重建

    本文提出了一种基于联想嵌入的两阶段方法，旨在从单个图像中同时分割平面实例并恢复三维平面参数，并且可以检测任意数量的平面，并且该方法可实现 30 fps 的运行速度，因此适用于实时应用，例如视觉 SLAM 和人机交互。

    Feb, 2019

  • P3Depth: 利用分段平面先验的单目深度估计

    提出了一种基于像素平面性先验的单目深度估计方法，并使用具有两个输出头的卷积神经网络来学习并由此实现端到端的训练，以预测尖锐边缘和具有合理 3D 重建的深度图，将其在 NYU Depth-v2 和 KITTI 的 Garg 数据集上的实验结果击败了以前的方法并创造了最新的技术成果。

    Apr, 2022

  • 多任务计划形状重建与特征扭曲引导

    基于改进的实例分割架构的实时平面重建模型 SoloPlanes，同时预测每个平面实例的语义、平面参数和分段平面实例掩码，通过提供特征空间中的多视角指导，在单张图像推理时同时预测语义，并以 43 帧每秒的实时预测效果。

    Nov, 2023

  • FloorNet: 三维扫描的平面图重建统一框架

    本研究旨在通过智能手机，利用深度神经网络技术重建室内地图，提出了线上勘测算法 FloorNet 核心思路，即将 RGBD 流图像数据分别经过三个大的神经网络模块来提取特征并同时考虑 3D 与 2D 空间信息，这种方法能够有效提高室内平面图的重建准确性。

    Mar, 2018

  • 在野外应用学习的自适应多面板图像进行单视图合成

    本文提出一种基于多平面图像（MPI）表示的新方法来合成野外照片的新视角，结合深度估计和颜色填充技术，通过多平面图像表示解决具有复杂 3D 几何的场景，使用大规模立体训练数据并经过实验验证达到最新成果。

    May, 2022

  • PlaneMatch：用于强健的 RGB-D 重建的平面共线性预测

    介绍了一种用于检测 SLAM 重建中共面表面的新型 RGB-D 补丁描述符，该方法的核心是一个深度卷积神经网络，它接受图像中平面贴片的 RGB、深度和法线信息，并输出可用于从其他图像中找到共平面贴片的描述符。我们在 1000 万个共面和非共面补丁的三元组上训练网络，并在从商品 RGB-D 扫描创建的新共面基准上进行评估。实验表明，我们学习的描述符在这项新任务中比已有的替代方案表现更好。此外，我们证明了共面匹配在稳健的 RGBD 重建公式中的优点。我们发现，使用我们的方法检测到的共面约束足以在大多数场景中获得可与现有的最先进框架相媲美的重建结果，但与简单的关键点方法相结合时，在标准基准测试上超过了其他方法。

    Mar, 2018

  • 从单 RGB 图像生成 3D 网格模型的 Pixel2Mesh

    本文提出了一种基于图卷积神经网络的端到端深度学习架构，从单个彩色图像中生成三角网格的 3D 形状，并采用粗到细的策略、不同级别的网格相关损失来保证生成的几何形状具有良好的视觉效果和物理精度。

    Apr, 2018

  • 使用曼哈顿世界假设的神经三维场景重建

    本论文提出一种基于内隐神经表示的重建方法，将平面约束融合到多视角立体方法的深度图估计中，并在 2D 语义分割网络预测的墙和地面区域采用平面约束来规范几何形状。该方法在 ScanNet 数据集上的实验表明，与以前的方法相比，在 3D 重建质量方面表现出更好的性能。

    May, 2022

  • 针对室内 RGB-D 重建的几何和纹理的高效基于平面的优化

    我们提出了一种基于平面基元的 RGB-D 室内场景重建新方法，通过适应平面构建整个场景的低多边形网格，保留原始场景的几何细节和锐利特征并生成清晰的面纹理，相较于现有方法更有效的从 RGB-D 数据生成纹理网格。

    May, 2019