Dec, 2023

PaSCo：具有不确定性感知的城市 3D 全景场景补全

PDF
TL;DR我们提出了全景场景完成（PSC）的任务，它扩展了最近流行的语义场景完成（SSC）任务，通过实例级别的信息产生对三维场景的更丰富理解。我们的 PSC 提议利用基于蒙版的混合技术处理来自稀疏多尺度完成的非空体素。与 SSC 文献忽略机器人应用中至关重要的不确定性不同，我们提出了一种有效的集成方法来估计体素和实例的不确定性，同时提高性能并获得更好的不确定性，且计算成本较低。此外，我们引入了一种聚合排列不变蒙版预测的技术。我们的实验证明，我们的方法在全景场景完成和不确定性估计方面优于所有基线算法，且在三个大规模自动驾驶数据集上进行了测试。我们的代码和数据可在此 https URL 中获取。
panoptic scene completionsemantic scene completioninstance-level informationuncertainty estimationautonomous driving datasets
发现论文，激发创造
  • PanoSSC：探索用于自动驾驶的单目全景三维场景重构

    通过在三维体素场景中进行全景分割的研究，我们提出了一种实例感知的占据网格模型 PanoSSC，可以有效地提取单个对象，将几何重建、三维语义分割和三维实例分割统一到 PanoSSC 框架中，并提出了用于评估全景体素的新指标。在 SemanticKITTI 语义场景完成基准测试中，我们的方法取得了有竞争力的结果。

    Jun, 2024

  • $α$-SSC：基于摄像头的不确定性感知的 3D 语义场景补全

    提出了一种考虑不确定性的基于摄像头的三维语义场景完成方法，同时提出了一种层次化的置信度预测方法，能够增强几何完成和语义分割准确性，提高安全关键类别的占用召回率，实现更小的预测集大小并保持指定的覆盖保证，为自主感知系统的准确性和鲁棒性带来显著进展。

    Jun, 2024

  • 3D 语义场景补全：一项调查

    本文综述了语义场景完整性（SSC）技术，重点分析了问题的方法和数据集，并对 SoA 在最流行的数据集上的性能进行了评估和分析。

    Mar, 2021

  • 基于半监督结构先验的 3D 草图感知语义场景补全

    本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合，通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断，该方案在三个公共基准测试中一致优于现有技术。

    Mar, 2020

  • MonoScene: 单目 3D 语义场景完成

    MonoScene 提出了一种 3D 语义场景完成（SSC）框架，该框架从单个单眼 RGB 图像推断出场景的密集几何和语义，在 2D 和 3D UNets 的连续 2D 和 3D 特征投影的基础上引入了 3D 上下文关系先验以强制实现空间 - 语义一致性。与先前的研究不同的是，该框架在联合推断其语义的同时解决了 2D 到 3D 的场景重建问题。实验表明，我们在所有指标和数据集上均优于先前的研究，甚至能够虚构出超出镜头视野的逼真场景。

    Dec, 2021

  • DepthSSC: 深度空间对齐和动态体素分辨率的单目三维语义场景补全

    基于单目摄像机的三维语义场景完成研究，提出了 DepthSSC 方法，通过 ST-GF 模块和几何感知体素化相结合，动态调整体素分辨率，考虑三维空间的几何复杂性，以确保空间与深度信息的精确对齐，成功解决了以往方法中存在的空间错位和畸变问题。通过在 SemanticKITTI 数据集上的评估，DepthSSC 不仅表现出在捕捉复杂的三维结构细节方面的有效性，还取得了最先进的性能。我们相信 DepthSSC 为基于单目摄像机的三维语义场景完成研究提供了新的视角，并希望它能激发更多相关研究。

    Nov, 2023

  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 将上下文实例查询与三维语义场景补全相结合

    提出了一种名为 Symphonies 的新范式来实现 3D 语义场景完形填空任务，它通过从具有上下文感知的输入中派生的一组稀疏的实例查询来完成场景卷积物的构建，并通过在场景内部使用查询作为实例特征表示来交互影响图像和卷积物特征，提高对整个情境的综合理解，能够减轻由遮挡和透视误差产生的几何模糊，同时在具有挑战性的 SemanticKITTI 数据集上实现了 13.02 mIoU 的最佳效果。

    Jun, 2023

  • SCPNet：点云上的语义场景补全

    提出了三种解决方案，包括对完成子网络的重新设计，使用知识蒸馏从多帧模型中提取知识以及完成标签修正，并在 SemanticKITTI 和 SemanticPOSS 数据集上进行了扩展实验。SCPNet 表现出比竞争对手更好的结果，展示了场景完成中学习到的知识对语义分割任务的有益性。

    Mar, 2023

  • 基于深度的语义场景完形填空与位置重要性感知损失

    本文提出了基于单个深度输入的混合网络 PALNet，利用两个流提取 2D 和 3D 特征，使用细粒度深度信息有效捕获场景的上下文和几何线索，并提出了 Position Aware Loss 以确定不同位置的重要性，从而使得场景的不同部分能够得到更好的恢复。文章的实验结果表明了所提出方法的有效性及卓越性能。

    Jan, 2020