CVPRMar, 2024

释放网络潜力以实现语义场景补全

PDF
TL;DR该研究提出了一种新的语义场景补全框架 - 对抗模态调制网络 (AMMNet)，通过优化梯度更新的方法，解决了单模态特征学习效果不佳和过拟合于有限数据集的两个问题，实验证明 AMMNet 在效果和泛化能力上明显优于最先进的语义场景补全方法。
semantic scene completionmulti-modal inputsadversarial modality modulation networkgradient updatesadversarial training
发现论文，激发创造
  • 基于注意力机制的多模态融合网络用于场景语义补全

    本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

    Mar, 2020

  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 弱监督语义分割的激活调制和重新校准方案

    提出了一种活动调制和校准 (AMR) 方案，利用聚光分支和补偿分支获得加权的 CAMs，提供重新校准和任务特定的概念来提高图像级弱监督语义分割的性能。

    Dec, 2021

  • 多模态语义分割的自监督模型适应

    提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

    Aug, 2018

  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023

  • 用于 3D 语义场景完整性的各向异性卷积神经网络

    提出了一种名为各向异性卷积的新模块，用于解决语义场景补全任务中物体或材料形状、布局和可见性变化的挑战，该模块能够在体素上进行维度各向异性的建模，通过在多个各向异性卷积模块中堆叠，进一步增强了体素模型的建模能力，在两个语义场景补全基准测试上表现优越。

    Apr, 2020

  • 3D 语义场景补全：一项调查

    本文综述了语义场景完整性（SSC）技术，重点分析了问题的方法和数据集，并对 SoA 在最流行的数据集上的性能进行了评估和分析。

    Mar, 2021

  • 利用色彩和深度的语义场景完整性：初步实验

    本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现

    Feb, 2018

  • MonoScene: 单目 3D 语义场景完成

    MonoScene 提出了一种 3D 语义场景完成（SSC）框架，该框架从单个单眼 RGB 图像推断出场景的密集几何和语义，在 2D 和 3D UNets 的连续 2D 和 3D 特征投影的基础上引入了 3D 上下文关系先验以强制实现空间 - 语义一致性。与先前的研究不同的是，该框架在联合推断其语义的同时解决了 2D 到 3D 的场景重建问题。实验表明，我们在所有指标和数据集上均优于先前的研究，甚至能够虚构出超出镜头视野的逼真场景。

    Dec, 2021

  • SCPNet：点云上的语义场景补全

    提出了三种解决方案，包括对完成子网络的重新设计，使用知识蒸馏从多帧模型中提取知识以及完成标签修正，并在 SemanticKITTI 和 SemanticPOSS 数据集上进行了扩展实验。SCPNet 表现出比竞争对手更好的结果，展示了场景完成中学习到的知识对语义分割任务的有益性。

    Mar, 2023