Jun, 2023

SSCBench：基于自动驾驶的大规模三维语义场景补全基准

PDF
TL;DR通过引入 SSCBench，这是一个综合基准数据集，其中包括广泛使用的汽车数据集，本文提出了一种方法来解决自动驾驶场景中 SSC 发展受限的问题。我们对目前的算法进行了定量和定性的评估，并承诺不断地将新颖的汽车数据集和 SSC 算法纳入我们的资源中，以推动此领域的进一步发展。
semantic scene completionsscbenchautonomous drivingdatasetsalgorithms
发现论文，激发创造
  • PointSSC：基于协作车辆 - 基础设施点云的语义场景完善基准评测

    实现语义场景补全 (SSC) 的 PointSSC 是首个针对语义场景补全的车辆基础设施合作点云基准，其利用点云作为轻量级替代方案，旨在提供语义标签的室外点云场景基准测试，准确度量验证真实导航中语义点云补全的进展。

    Sep, 2023

  • 3D 语义场景补全：一项调查

    本文综述了语义场景完整性（SSC）技术，重点分析了问题的方法和数据集，并对 SoA 在最流行的数据集上的性能进行了评估和分析。

    Mar, 2021

  • V2VSSC：一项用于感知的三维语义场景补完基准测试，基于车辆到车辆通信

    通过车到车通信，提出了一种解决语义场景补全 (SSC) 中的遮挡和短距离感知等问题的新框架，实验证明通过车到车通信可以提高 8.3％的几何度量 IoU 和 6.0％的平均 IoU (SSC 性能)。

    Feb, 2024

  • $α$-SSC：基于摄像头的不确定性感知的 3D 语义场景补全

    提出了一种考虑不确定性的基于摄像头的三维语义场景完成方法，同时提出了一种层次化的置信度预测方法，能够增强几何完成和语义分割准确性，提高安全关键类别的占用召回率，实现更小的预测集大小并保持指定的覆盖保证，为自主感知系统的准确性和鲁棒性带来显著进展。

    Jun, 2024

  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023

  • SSC-RS：基于表征分离和 BEV 融合的 LiDAR 语义场景完整性提升

    本文提出了一种基于表示分离和 BEV 融合的方法，名为 SSC-RS，用于室外场景的语义场景补全，并在 SemanticKITTI 数据集上的实验证明该方法取得了最先进的性能。

    Jun, 2023

  • S4C：自我监督的神经场景补全

    我们提出了一种名为 S4C 的第一种自我监督方法，不依赖于 3D 完整数据，能够从单张图像中重建场景，并且只依赖于视频和训练期间从现成图像分割网络生成的伪分割地面实况。与现有方法不同，我们将场景表示为隐式语义场，通过渲染为基础的自我监督损失训练我们的架构，取得了接近完全监督最新方法的性能，并且表现出强大的泛化能力，可以为远距离视点合成准确的分割地图。

    Oct, 2023

  • 将上下文实例查询与三维语义场景补全相结合

    提出了一种名为 Symphonies 的新范式来实现 3D 语义场景完形填空任务，它通过从具有上下文感知的输入中派生的一组稀疏的实例查询来完成场景卷积物的构建，并通过在场景内部使用查询作为实例特征表示来交互影响图像和卷积物特征，提高对整个情境的综合理解，能够减轻由遮挡和透视误差产生的几何模糊，同时在具有挑战性的 SemanticKITTI 数据集上实现了 13.02 mIoU 的最佳效果。

    Jun, 2023

  • MonoScene: 单目 3D 语义场景完成

    MonoScene 提出了一种 3D 语义场景完成（SSC）框架，该框架从单个单眼 RGB 图像推断出场景的密集几何和语义，在 2D 和 3D UNets 的连续 2D 和 3D 特征投影的基础上引入了 3D 上下文关系先验以强制实现空间 - 语义一致性。与先前的研究不同的是，该框架在联合推断其语义的同时解决了 2D 到 3D 的场景重建问题。实验表明，我们在所有指标和数据集上均优于先前的研究，甚至能够虚构出超出镜头视野的逼真场景。

    Dec, 2021

  • DepthSSC: 深度空间对齐和动态体素分辨率的单目三维语义场景补全

    基于单目摄像机的三维语义场景完成研究，提出了 DepthSSC 方法，通过 ST-GF 模块和几何感知体素化相结合，动态调整体素分辨率，考虑三维空间的几何复杂性，以确保空间与深度信息的精确对齐，成功解决了以往方法中存在的空间错位和畸变问题。通过在 SemanticKITTI 数据集上的评估，DepthSSC 不仅表现出在捕捉复杂的三维结构细节方面的有效性，还取得了最先进的性能。我们相信 DepthSSC 为基于单目摄像机的三维语义场景完成研究提供了新的视角，并希望它能激发更多相关研究。

    Nov, 2023