ICCVJul, 2023

PlaneRecTR：统一查询学习用于从单个视图恢复三维平面

PDF
TL;DR整合 3D 平面恢复的各个子任务，利用 Transformer 模型构建了一个统一框架，实现了单张图片的平面恢复，并在公共数据集 ScanNet 和 NYUv2-Plane 上取得了最新的性能表现。
3d plane recoverysingle imageunified frameworktransformer-based architecturestate-of-the-art performance
发现论文，激发创造
  • PlaneTR: 用结构指导的 Transformer 模型进行 3D 平面恢复

    使用基于 Transformers 的神经网络 PlaneTR 从单个图像中同时检测和重构平面。

    Jul, 2021

  • 从单张图像进行 3D 平面检测和重建的 PlaneRCNN

    本论文提出一种称为 PlaneRCNN 的深度神经结构，可以从单个 RGB 图像检测和重构分段平面曲面，并且在基准测试中表现明显优于现有最先进的方法，具有重要的机器人学、增强现实和虚拟现实应用价值。

    Dec, 2018

  • 多任务计划形状重建与特征扭曲引导

    基于改进的实例分割架构的实时平面重建模型 SoloPlanes，同时预测每个平面实例的语义、平面参数和分段平面实例掩码，通过提供特征空间中的多视角指导，在单张图像推理时同时预测语义，并以 43 帧每秒的实时预测效果。

    Nov, 2023

  • 三视图遇上高斯点云投影：使用 Transformer 快速且可推广的单视图 3D 重建

    通过前向推理，我们介绍了一种从单张图像高效生成三维模型的新方法，利用基于 Transformer 的网络，即点解码器和三面解码器，通过混合的 Triplane-Gaussian 中间表示重建三维物体，从而在渲染速度和渲染质量上实现了平衡，并比之前的技术在质量和运行时间方面取得了更好的效果。

    Dec, 2023

  • PlanarRecon：基于单目视频的实时 3D 平面检测与重建

    PlanarRecon 是一种基于神经网络的新框架，通过在视频中逐渐检测 3D 平面，实现了对场景的全局连贯检测与重构，并在 ScanNet 数据集上取得了最新的最优性能。

    Jun, 2022

  • PlaneFormers：从稀疏视图到三维重建

    本文提出了一种用于从有限重叠的图像重建场景平面表面的方法，并介绍了一种新的基于 transformer 的简化方法，PlaneFormer，它是通过对 3D 感知平面记号应用变换器来进行 3D 推理。实验表明，本文的方法比之前的方法更加有效。

    Aug, 2022

  • AirPlanes: 通过 3D 一致嵌入实现准确的飞机估计

    本文提出一种新方法，通过预测多视角一致的平面嵌入来辅助几何方法，将点进行聚类成平面，从而解决了在场景中估计平面表面的问题，并在 ScanNetV2 数据集上表明，该方法优于现有方法和强基线的平面估计任务。

    Jun, 2024

  • PlaneNet：从单个 RGB 图像中分段平面重建

    本研究提出了一种使用深度神经网络 (DNN) 从单个 RGB 图像重建分段平面深度图的方法，该方法可以直接从单个 RGB 图像学习一组平面参数和相应的分割掩码，并且在评估中表现出比基准方法更好的平面分割和深度估计精度。该方法是第一个可以从单个 RGB 图像进行分段平面重建的端到端神经网络结构。

    Apr, 2018

  • UniTR: 统一高效的多模态 Transformer 用于鸟瞰表示

    UniTR 是一种高效的多模态骨干网络，用于处理多传感器数据并实现准确可靠的自动驾驶系统的感知。它引入了一种模态不可知的转换编码器来处理不同的传感器数据，并通过视角不一致的传感器数据进行并行模态表示学习和自动跨模态交互，无需额外的融合步骤。它通过同时考虑语义丰富的 2D 透视图和几何感知的 3D 稀疏邻域关系，提出了一种新颖的多模态融合策略。在 nuScenes 评测上，UniTR 在 3D 目标检测方面取得了 + 1.1 NDS 的提高，在 BEV 地图分割方面取得了 + 12.0 mIoU 的提高，并具有较低的推理延迟。

    Aug, 2023

  • 基于关联嵌入的单张图像分块平面三维重建

    本文提出了一种基于联想嵌入的两阶段方法，旨在从单个图像中同时分割平面实例并恢复三维平面参数，并且可以检测任意数量的平面，并且该方法可实现 30 fps 的运行速度，因此适用于实时应用，例如视觉 SLAM 和人机交互。

    Feb, 2019