S3CNet: 面向 LiDAR 点云的稀疏语义场景补全网络
我们提出了一种端到端的语义分割辅助场景补全网络,包括 2D 补全分支和 3D 语义分割分支,以提供语义信息。通过采用 BEV 表示和 3D 稀疏卷积,我们可以从较低的操作数中受益,同时保持有效的表达。此方法在 SemanticKITTI 数据集上表现出有竞争力的性能和低延迟。
Sep, 2021
我们提出了一种名为 S4C 的第一种自我监督方法,不依赖于 3D 完整数据,能够从单张图像中重建场景,并且只依赖于视频和训练期间从现成图像分割网络生成的伪分割地面实况。与现有方法不同,我们将场景表示为隐式语义场,通过渲染为基础的自我监督损失训练我们的架构,取得了接近完全监督最新方法的性能,并且表现出强大的泛化能力,可以为远距离视点合成准确的分割地图。
Oct, 2023
提出了三种解决方案,包括对完成子网络的重新设计,使用知识蒸馏从多帧模型中提取知识以及完成标签修正,并在 SemanticKITTI 和 SemanticPOSS 数据集上进行了扩展实验。SCPNet 表现出比竞争对手更好的结果,展示了场景完成中学习到的知识对语义分割任务的有益性。
Mar, 2023
SLCF-Net 是一种新颖的方法,通过顺序融合 LiDAR 和相机数据来进行语义场景补全任务,从 RGB 图像序列和稀疏的 LiDAR 测量中联合估计场景中的缺失几何和语义信息,通过预训练的 2D U-Net 对图像进行语义分割,并从基于深度的 Depth Anything 中估计密集的深度先验,利用高斯衰减深度先验投影将 2D 图像特征投射到 3D 场景体积中,并使用 3D U-Net 计算体积语义,通过传感器运动传播隐藏的 3D U-Net 状态,并设计了一种新的损失函数以确保时间一致性,在 SemanticKITTI 数据集上评估我们的方法并与领先的语义场景补全方法进行比较,结果表明 SLCF-Net 在所有的语义场景补全指标上表现出色,并展示出很好的时间一致性。
Mar, 2024
本文提出了一种基于学习的语义分割框架,其利用上下文形状先验知识,在 LiDAR 点云序列的帮助下将单个点云序列完成从稀疏的单扫描点云到密集的点云的语义分割任务,并在 SemanticKITTI 和 SemanticPOSS 数据集上取得了显著的性能提升。
Dec, 2020
本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务,提出了一种端到端三维卷积神经网络 SSCNet,该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明,该联合模型比各自解决每个任务的方法表现更好,并且在语义场景完成任务上优于替代方法。
Nov, 2016
本文提出了一种新型的场景分割网络,基于本地 Deep Implicit Functions 的方法,用于语义场景补全,并将其在经过语义注释的 LiDAR 扫描上验证了其性能的优越性。
Nov, 2020
使用密集 - 稀疏 - 密集的设计,采用几何先验和占据信息,从语义感知和占据感知种子体素中扩散语义,实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明,该方法优于现有的最先进方法。
Dec, 2023
通过场景补全预训练(SCP)方法来增强 3D 物体检测器的性能,SCP 具有改进点云模型初始化、消除对额外数据集的需求、减少标注数据量的三个关键优势,并能够使现有的 3D 检测器仅依赖 20% 标注数据即可实现相当性能。
Sep, 2023
本研究提出了一种新的稀疏卷积操作,旨在更高效地处理空间稀疏数据,并使用其开发出空间稀疏卷积网络 (SSCNs)。我们在涉及三维点云的语义分割任务中展示了这种模型的强大性能,特别是我们的模型在最近一个语义分割竞赛的测试集上超越了所有以前的最新技术。
Nov, 2017