用于 3D 语义场景完整性的各向异性卷积神经网络
本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务,提出了一种端到端三维卷积神经网络 SSCNet,该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明,该联合模型比各自解决每个任务的方法表现更好,并且在语义场景完成任务上优于替代方法。
Nov, 2016
本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合,通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断,该方案在三个公共基准测试中一致优于现有技术。
Mar, 2020
本文介绍了一种名为 Semantic Scene Completion 的任务,提出了一个使用点和体素来预测 3D 场景语义和占用表示的点 - 体素聚合网络,该网络使用深度点流来高效捕捉场景中的语义信息,以及只含两个 3D 卷积层的轻量化体素流来保持场景的局部结构。通过使用各向异性体素聚合操作融合体素流中的结构细节,以及使用基于语义标签的传播模块来增强点流中的上采样过程,该模型在两个基准测试中超过了当前最先进技术。
Dec, 2021
基于单目摄像机的三维语义场景完成研究,提出了 DepthSSC 方法,通过 ST-GF 模块和几何感知体素化相结合,动态调整体素分辨率,考虑三维空间的几何复杂性,以确保空间与深度信息的精确对齐,成功解决了以往方法中存在的空间错位和畸变问题。通过在 SemanticKITTI 数据集上的评估,DepthSSC 不仅表现出在捕捉复杂的三维结构细节方面的有效性,还取得了最先进的性能。我们相信 DepthSSC 为基于单目摄像机的三维语义场景完成研究提供了新的视角,并希望它能激发更多相关研究。
Nov, 2023
通过空间分组卷积(SGC)来加速 3D 密集预测任务的计算。SGC 是一种与组卷积正交的方法,它作用于空间维度而不是特征通道维度。它将输入体素划分为不同的组,然后在这些分离的组上进行 3D 稀疏卷积。在进行卷积时,只有有效的体素被考虑到,因此可以大大减少计算量并略微降低精度。我们将所提出的操作用于语义场景完成任务,该任务旨在从单个深度图像中预测具有语义标签的完整 3D 体积。基于 SGC,我们进一步提出了一种高效的 3D 稀疏卷积网络,它利用了多尺度架构和粗到精的预测策略。在 SUNCG 数据集上进行了评估,并实现了最先进的性能和快速速度。我们的代码可在 https URL 上获得。
Jul, 2019
使用密集 - 稀疏 - 密集的设计,采用几何先验和占据信息,从语义感知和占据感知种子体素中扩散语义,实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明,该方法优于现有的最先进方法。
Dec, 2023
本研究提出了一种新的深度学习框架 CCNPNet,它采用级联金字塔结构模型和引导型残差细化模块,可从单张深度图像中推断出体素化 3D 场景的占用率和语义标签,并在 SUNCG 和 NYU 数据集上取得了优于现有方法的高质量 SSC 结果。
Aug, 2019
本文介绍了一种基于视觉的语义场景补全方法,通过稀疏到稠密的转换和上下文与几何感知,使用 CGFormer 神经网络结构在不同尺度上提高了语义和几何表示能力,取得了在两个基准数据集上的最优性能。
May, 2024