IJCAIJun, 2021

IMENet: 迭代互相增强的联合三维语义场景补全和二维语义分割

PDF
TL;DR本文提出了一种 Iterative Mutual Enhancement Network (IMENet)，能够联合处理 3D 语义场景完成和 2D 语义分割任务，通过两个精细化模块 Deformable Context Pyramid 和 Deformable Depth Attention，在两个任务的高级特征上进行交互迭代优化融合，提高了模型在 NYU 和 NYUCAD 数据集上的泛化能力与模型性能。
3d semantic scene completion2d semantic segmentationiterative mutual enhancement networkdeformable context pyramiddeformable depth attention
发现论文，激发创造
  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 利用 2D 和 3D 网络的补充性来解决 3D 语义分割中的领域偏移

    本文提出一种简单有效的多模态 3D 语义分割网络，利用来自不同传感器的信息进行语义分割并使其更加鲁棒，达到了优异的性能。

    Apr, 2023

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 基于注意力机制的多模态融合网络用于场景语义补全

    本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

    Mar, 2020

  • 通过将实例和场景纳入环路中进行语义场景补全

    该研究提出了一种双向迭代的 Scene-Instance-Scene Network（SISNet）框架，通过将实例从完成度较高的场景中分离出来进行重建，并通过迭代机制将实例信息重新整合回 3D 场景，提高了语义场景的完成准确率。

    Apr, 2021

  • EdgeNet: 从单个 RGB-D 图像完成语义场景

    本文介绍一种新策略，通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息，同时提出了 EdgeNet，一种能够处理深度和边缘信息的新型端到端神经网络结构，实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。

    Aug, 2019

  • SemSegDepth: 一种联合模型用于语义分割和深度完善

    本文提出了一种新的端到端模型，以 RGB 和稀疏深度为输入，联合执行语义分割和深度完成，通过实验表明将语义分割和深度完成结合在一个多任务网络中可以有效提高每个任务的性能。

    Sep, 2022

  • 点云分割的 2D-3D 交替 Transformer，具备场景级别监督

    我们提出了一种多模态交叉变压器（MIT），它同时考虑 2D 和 3D 数据，用于弱监督点云分割。

    Oct, 2023

  • D$^2$IM-Net：从单张图片学习细节分离的隐式场

    本文提出了一种用于从单一视角对三维模型进行重建的模型，使用隐式函数来表示模型的粗略形状，采用细节表征的重建方法来捕捉表面细节。

    Dec, 2020

  • JSENet: 用于 3D 点云的联合语义分割和边缘检测网络

    本研究通过设计一个新的两流全卷积网络，提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题，特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息，通过提出的新型损失函数，实现了更好的语义分割结果的同时改善边缘信息，结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能，优于语义边缘检测的基准方法。

    Jul, 2020