Dec, 2018

从单张图像进行 3D 平面检测和重建的 PlaneRCNN

PDF
TL;DR本论文提出一种称为 PlaneRCNN 的深度神经结构，可以从单个 RGB 图像检测和重构分段平面曲面，并且在基准测试中表现明显优于现有最先进的方法，具有重要的机器人学、增强现实和虚拟现实应用价值。
deep neural architectureplanercnnpiecewise planar surfacessegmentation masksbenchmark
发现论文，激发创造
  • PlaneNet：从单个 RGB 图像中分段平面重建

    本研究提出了一种使用深度神经网络 (DNN) 从单个 RGB 图像重建分段平面深度图的方法，该方法可以直接从单个 RGB 图像学习一组平面参数和相应的分割掩码，并且在评估中表现出比基准方法更好的平面分割和深度估计精度。该方法是第一个可以从单个 RGB 图像进行分段平面重建的端到端神经网络结构。

    Apr, 2018

  • PlaneRecTR：统一查询学习用于从单个视图恢复三维平面

    整合 3D 平面恢复的各个子任务，利用 Transformer 模型构建了一个统一框架，实现了单张图片的平面恢复，并在公共数据集 ScanNet 和 NYUv2-Plane 上取得了最新的性能表现。

    Jul, 2023

  • PlanarRecon：基于单目视频的实时 3D 平面检测与重建

    PlanarRecon 是一种基于神经网络的新框架，通过在视频中逐渐检测 3D 平面，实现了对场景的全局连贯检测与重构，并在 ScanNet 数据集上取得了最新的最优性能。

    Jun, 2022

  • 基于关联嵌入的单张图像分块平面三维重建

    本文提出了一种基于联想嵌入的两阶段方法，旨在从单个图像中同时分割平面实例并恢复三维平面参数，并且可以检测任意数量的平面，并且该方法可实现 30 fps 的运行速度，因此适用于实时应用，例如视觉 SLAM 和人机交互。

    Feb, 2019

  • 多任务计划形状重建与特征扭曲引导

    基于改进的实例分割架构的实时平面重建模型 SoloPlanes，同时预测每个平面实例的语义、平面参数和分段平面实例掩码，通过提供特征空间中的多视角指导，在单张图像推理时同时预测语义，并以 43 帧每秒的实时预测效果。

    Nov, 2023

  • AirPlanes: 通过 3D 一致嵌入实现准确的飞机估计

    本文提出一种新方法，通过预测多视角一致的平面嵌入来辅助几何方法，将点进行聚类成平面，从而解决了在场景中估计平面表面的问题，并在 ScanNetV2 数据集上表明，该方法优于现有方法和强基线的平面估计任务。

    Jun, 2024

  • PlaneTR: 用结构指导的 Transformer 模型进行 3D 平面恢复

    使用基于 Transformers 的神经网络 PlaneTR 从单个图像中同时检测和重构平面。

    Jul, 2021

  • 从单个 RGB 图像学习重建非长方体房间布局的 3D 模型

    该论文提出一种基于单张图片的室内布局重建方法，使用卷积神经网络和几何推理技术检测平面和垂直线条之间的关系，以及优化 3D 平面参数来实现几何一致的室内布局重建，并在现有公开数据集上进行了实验验证。

    Apr, 2021

  • PlaneMatch：用于强健的 RGB-D 重建的平面共线性预测

    介绍了一种用于检测 SLAM 重建中共面表面的新型 RGB-D 补丁描述符，该方法的核心是一个深度卷积神经网络，它接受图像中平面贴片的 RGB、深度和法线信息，并输出可用于从其他图像中找到共平面贴片的描述符。我们在 1000 万个共面和非共面补丁的三元组上训练网络，并在从商品 RGB-D 扫描创建的新共面基准上进行评估。实验表明，我们学习的描述符在这项新任务中比已有的替代方案表现更好。此外，我们证明了共面匹配在稳健的 RGBD 重建公式中的优点。我们发现，使用我们的方法检测到的共面约束足以在大多数场景中获得可与现有的最先进框架相媲美的重建结果，但与简单的关键点方法相结合时，在标准基准测试上超过了其他方法。

    Mar, 2018

  • 针对室内 RGB-D 重建的几何和纹理的高效基于平面的优化

    我们提出了一种基于平面基元的 RGB-D 室内场景重建新方法，通过适应平面构建整个场景的低多边形网格，保留原始场景的几何细节和锐利特征并生成清晰的面纹理，相较于现有方法更有效的从 RGB-D 数据生成纹理网格。

    May, 2019