Nov, 2016

来自单个深度图像的语义场景补全

PDF
TL;DR本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。
发现论文，激发创造
  • 利用色彩和深度的语义场景完整性：初步实验

    本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现

    Feb, 2018

  • 级联上下文金字塔用于全分辨率 3D 语义场景补全

    本研究提出了一种新的深度学习框架 CCNPNet，它采用级联金字塔结构模型和引导型残差细化模块，可从单张深度图像中推断出体素化 3D 场景的占用率和语义标签，并在 SUNCG 和 NYU 数据集上取得了优于现有方法的高质量 SSC 结果。

    Aug, 2019

  • DepthSSC: 深度空间对齐和动态体素分辨率的单目三维语义场景补全

    基于单目摄像机的三维语义场景完成研究，提出了 DepthSSC 方法，通过 ST-GF 模块和几何感知体素化相结合，动态调整体素分辨率，考虑三维空间的几何复杂性，以确保空间与深度信息的精确对齐，成功解决了以往方法中存在的空间错位和畸变问题。通过在 SemanticKITTI 数据集上的评估，DepthSSC 不仅表现出在捕捉复杂的三维结构细节方面的有效性，还取得了最先进的性能。我们相信 DepthSSC 为基于单目摄像机的三维语义场景完成研究提供了新的视角，并希望它能激发更多相关研究。

    Nov, 2023

  • 基于半监督结构先验的 3D 草图感知语义场景补全

    本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合，通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断，该方案在三个公共基准测试中一致优于现有技术。

    Mar, 2020

  • 从单张深度图实现语义场景补全的视点网络

    本文介绍了一种名为 VVNet 的卷积神经网络，可从单个深度图像中推断出体积三维场景的占用率和语义标签，VVNet 有效地降低了计算成本，提高了结果的准确性。

    Jun, 2018

  • 使用对抗训练从单个深度图像完成 3D 语义场景

    本研究旨在探讨利用生成对抗网络进行三维场景填充的潜力与效率，并通过几个数据集的实验验证了这种模型优于传统三维卷积神经网络在一定程度具有对齐的数据集内。

    May, 2019

  • EdgeNet: 从单个 RGB-D 图像完成语义场景

    本文介绍一种新策略，通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息，同时提出了 EdgeNet，一种能够处理深度和边缘信息的新型端到端神经网络结构，实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。

    Aug, 2019

  • MonoScene: 单目 3D 语义场景完成

    MonoScene 提出了一种 3D 语义场景完成（SSC）框架，该框架从单个单眼 RGB 图像推断出场景的密集几何和语义，在 2D 和 3D UNets 的连续 2D 和 3D 特征投影的基础上引入了 3D 上下文关系先验以强制实现空间 - 语义一致性。与先前的研究不同的是，该框架在联合推断其语义的同时解决了 2D 到 3D 的场景重建问题。实验表明，我们在所有指标和数据集上均优于先前的研究，甚至能够虚构出超出镜头视野的逼真场景。

    Dec, 2021

  • 双流三维语义场景补全

    本文提出一种两流方法，结合深度信息和从 RGB 图像推断出的语义信息，利用 3D CNN 推断出完整的 3D 语义张量进行场景补全，该方法远优于目前的最新技术。

    Apr, 2018

  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023