CVPRApr, 2021

通过将实例和场景纳入环路中进行语义场景补全

PDF
TL;DR该研究提出了一种双向迭代的 Scene-Instance-Scene Network（SISNet）框架，通过将实例从完成度较高的场景中分离出来进行重建，并通过迭代机制将实例信息重新整合回 3D 场景，提高了语义场景的完成准确率。
semantic scene completionscene-instance-scene networkinstance-to-scenesemantic scene completion3d scene
发现论文，激发创造
  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 3D-SIS: RGB-D 扫描的三维语义实例分割

    本文介绍了一种新型的神经网络体系结构：3D-SIS，用于在商品 RGB-D 扫描中进行三维语义实例分割。它结合了几何和颜色信号的联合学习，从而实现了精确的实例预测。该网络利用了高分辨率 RGB 输入和多视角 RGB-D 输入，并在 3D 重建的姿态对准的基础上将 2D 图像与体积网格相结合，实现了 2D 和 3D 特征学习组合，从而达到了超过 13 的 mAP 改进。

    Dec, 2018

  • 利用色彩和深度的语义场景完整性：初步实验

    本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现

    Feb, 2018

  • 利用本地深度隐函数对 LiDAR 数据进行语义场景补全

    本文提出了一种新型的场景分割网络，基于本地 Deep Implicit Functions 的方法，用于语义场景补全，并将其在经过语义注释的 LiDAR 扫描上验证了其性能的优越性。

    Nov, 2020

  • SCFusion：基于语义完整性的实时增量场景重建

    通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架，其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成，并将其与全局三维模型相融合，从而最终达到精准高效的三维语义场景完整。

    Oct, 2020

  • SCPNet：点云上的语义场景补全

    提出了三种解决方案，包括对完成子网络的重新设计，使用知识蒸馏从多帧模型中提取知识以及完成标签修正，并在 SemanticKITTI 和 SemanticPOSS 数据集上进行了扩展实验。SCPNet 表现出比竞争对手更好的结果，展示了场景完成中学习到的知识对语义分割任务的有益性。

    Mar, 2023

  • 使用语义超点树网络在 3D 场景中进行实例分割

    提出了一种基于 Semantic Superpoint Tree Network (SSTNet) 的端到端解决方案，其通过学习场景点的语义特征构建中间的语义超级点树（SST）， 在中间树节点处进行实例对象的建议，以及通过一个模块对错误的超级点进行修剪， 针对数据不规则性提出了一种改进的方法。在 ScanNet 和 S3DIS 的基准测试中表现出强大的实用性。

    Aug, 2021

  • 面向城市场景实用语义图像合成

    本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

    May, 2023

  • 基于半监督结构先验的 3D 草图感知语义场景补全

    本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合，通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断，该方案在三个公共基准测试中一致优于现有技术。

    Mar, 2020

  • 基于语义分割辅助的 LiDAR 点云场景补全

    我们提出了一种端到端的语义分割辅助场景补全网络，包括 2D 补全分支和 3D 语义分割分支，以提供语义信息。通过采用 BEV 表示和 3D 稀疏卷积，我们可以从较低的操作数中受益，同时保持有效的表达。此方法在 SemanticKITTI 数据集上表现出有竞争力的性能和低延迟。

    Sep, 2021