AAAIDec, 2021

语义场景补全：基于点 - 体素视角的差异化处理

PDF
TL;DR本文介绍了一种名为 Semantic Scene Completion 的任务，提出了一个使用点和体素来预测 3D 场景语义和占用表示的点 - 体素聚合网络，该网络使用深度点流来高效捕捉场景中的语义信息，以及只含两个 3D 卷积层的轻量化体素流来保持场景的局部结构。通过使用各向异性体素聚合操作融合体素流中的结构细节，以及使用基于语义标签的传播模块来增强点流中的上采样过程，该模型在两个基准测试中超过了当前最先进技术。
semantic scene completionpoint-voxel aggregation network3d scenesdeep point streamsemantic-aware propagation module
发现论文，激发创造
  • 基于半监督结构先验的 3D 草图感知语义场景补全

    本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合，通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断，该方案在三个公共基准测试中一致优于现有技术。

    Mar, 2020

  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023

  • PointSSC：基于协作车辆 - 基础设施点云的语义场景完善基准评测

    实现语义场景补全 (SSC) 的 PointSSC 是首个针对语义场景补全的车辆基础设施合作点云基准，其利用点云作为轻量级替代方案，旨在提供语义标签的室外点云场景基准测试，准确度量验证真实导航中语义点云补全的进展。

    Sep, 2023

  • 用于 3D 语义场景完整性的各向异性卷积神经网络

    提出了一种名为各向异性卷积的新模块，用于解决语义场景补全任务中物体或材料形状、布局和可见性变化的挑战，该模块能够在体素上进行维度各向异性的建模，通过在多个各向异性卷积模块中堆叠，进一步增强了体素模型的建模能力，在两个语义场景补全基准测试上表现优越。

    Apr, 2020

  • 并非所有体素都相等：具有自我蒸馏的硬度感知语义场景补全

    我们提出了一种 HASSC 方法，通过对困难体素进行设计，训练语义场景完成模型。全局难度和局部难度用于认知体素区域，同时引入自我蒸馏策略使得训练过程更加稳定和一致。广泛的实验表明，我们的 HASSC 方案可以有效提高基线模型的准确性，而不会增加额外的推断成本。

    Apr, 2024

  • DepthSSC: 深度空间对齐和动态体素分辨率的单目三维语义场景补全

    基于单目摄像机的三维语义场景完成研究，提出了 DepthSSC 方法，通过 ST-GF 模块和几何感知体素化相结合，动态调整体素分辨率，考虑三维空间的几何复杂性，以确保空间与深度信息的精确对齐，成功解决了以往方法中存在的空间错位和畸变问题。通过在 SemanticKITTI 数据集上的评估，DepthSSC 不仅表现出在捕捉复杂的三维结构细节方面的有效性，还取得了最先进的性能。我们相信 DepthSSC 为基于单目摄像机的三维语义场景完成研究提供了新的视角，并希望它能激发更多相关研究。

    Nov, 2023

  • 基于特征聚合和条件预测的实时 3D 语义场景补全

    本文提出了一种实时语义场景完整方法，具有特征聚合策略和条件预测模块，通过特征聚合和两步预测方案来提高语义场景完整预测性能。在三个基准测试上进行实验，并在一个 GTX 1080 Ti GPU 上以每秒 110 帧的速度取得了有竞争力的性能。

    Mar, 2023

  • 利用色彩和深度的语义场景完整性：初步实验

    本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现

    Feb, 2018

  • 3D 语义场景补全：一项调查

    本文综述了语义场景完整性（SSC）技术，重点分析了问题的方法和数据集，并对 SoA 在最流行的数据集上的性能进行了评估和分析。

    Mar, 2021