ICCVSep, 2023

NDC-Scene：在规范设备坐标空间中提升单目立体视觉语义场景完成

PDF
TL;DR通过解决二维特征的模糊性、三维卷积的姿态模糊性和三维卷积在不同深度层次上的计算不平衡等问题，我们提出了一种新的标准化设备坐标场景补全网络（NDC-Scene），通过逐步恢复深度的卷积操作，将二维特征映射直接扩展到标准化设备坐标（NDC）空间，而不是直接映射到世界空间。实验证明，在目标三维空间与 NDC 空间之间进行大部分计算转换有助于单目 SSC 任务的性能提升。此外，我们设计了一种深度自适应的双解码器，同时上采样和融合二维和三维特征图，进一步提高了整体性能。在室外 SemanticKITTI 和室内 NYUv2 数据集上的广泛实验证实，我们提出的方法始终优于最先进的方法。
monocular 3d semantic scene completionnormalized device coordinatesfeature ambiguitypose ambiguitycomputation imbalance
发现论文，激发创造
  • MonoScene: 单目 3D 语义场景完成

    MonoScene 提出了一种 3D 语义场景完成（SSC）框架，该框架从单个单眼 RGB 图像推断出场景的密集几何和语义，在 2D 和 3D UNets 的连续 2D 和 3D 特征投影的基础上引入了 3D 上下文关系先验以强制实现空间 - 语义一致性。与先前的研究不同的是，该框架在联合推断其语义的同时解决了 2D 到 3D 的场景重建问题。实验表明，我们在所有指标和数据集上均优于先前的研究，甚至能够虚构出超出镜头视野的逼真场景。

    Dec, 2021

  • DepthSSC: 深度空间对齐和动态体素分辨率的单目三维语义场景补全

    基于单目摄像机的三维语义场景完成研究，提出了 DepthSSC 方法，通过 ST-GF 模块和几何感知体素化相结合，动态调整体素分辨率，考虑三维空间的几何复杂性，以确保空间与深度信息的精确对齐，成功解决了以往方法中存在的空间错位和畸变问题。通过在 SemanticKITTI 数据集上的评估，DepthSSC 不仅表现出在捕捉复杂的三维结构细节方面的有效性，还取得了最先进的性能。我们相信 DepthSSC 为基于单目摄像机的三维语义场景完成研究提供了新的视角，并希望它能激发更多相关研究。

    Nov, 2023

  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 级联上下文金字塔用于全分辨率 3D 语义场景补全

    本研究提出了一种新的深度学习框架 CCNPNet，它采用级联金字塔结构模型和引导型残差细化模块，可从单张深度图像中推断出体素化 3D 场景的占用率和语义标签，并在 SUNCG 和 NYU 数据集上取得了优于现有方法的高质量 SSC 结果。

    Aug, 2019

  • 用于 3D 语义场景完整性的各向异性卷积神经网络

    提出了一种名为各向异性卷积的新模块，用于解决语义场景补全任务中物体或材料形状、布局和可见性变化的挑战，该模块能够在体素上进行维度各向异性的建模，通过在多个各向异性卷积模块中堆叠，进一步增强了体素模型的建模能力，在两个语义场景补全基准测试上表现优越。

    Apr, 2020

  • 基于特征聚合和条件预测的实时 3D 语义场景补全

    本文提出了一种实时语义场景完整方法，具有特征聚合策略和条件预测模块，通过特征聚合和两步预测方案来提高语义场景完整预测性能。在三个基准测试上进行实验，并在一个 GTX 1080 Ti GPU 上以每秒 110 帧的速度取得了有竞争力的性能。

    Mar, 2023

  • NDDepth：基于法线和距离辅助的单目深度估计和补全

    通过假设 3D 场景由分段平面组成，本文提出了针对单目深度估计和补全任务的新型物理（几何）推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出，提出了一个法线 - 距离模块。同时，通过开发出平面感知一致性约束来规范化表面法线和距离图，并将其转换为深度图。此外，还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明，我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。

    Nov, 2023

  • 利用色彩和深度的语义场景完整性：初步实验

    本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现

    Feb, 2018

  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023

  • $α$-SSC：基于摄像头的不确定性感知的 3D 语义场景补全

    提出了一种考虑不确定性的基于摄像头的三维语义场景完成方法，同时提出了一种层次化的置信度预测方法，能够增强几何完成和语义分割准确性，提高安全关键类别的占用召回率，实现更小的预测集大小并保持指定的覆盖保证，为自主感知系统的准确性和鲁棒性带来显著进展。

    Jun, 2024