Dec, 2018

3D-SIS: RGB-D 扫描的三维语义实例分割

PDF
TL;DR本文介绍了一种新型的神经网络体系结构：3D-SIS，用于在商品 RGB-D 扫描中进行三维语义实例分割。它结合了几何和颜色信号的联合学习，从而实现了精确的实例预测。该网络利用了高分辨率 RGB 输入和多视角 RGB-D 输入，并在 3D 重建的姿态对准的基础上将 2D 图像与体积网格相结合，实现了 2D 和 3D 特征学习组合，从而达到了超过 13 的 mAP 改进。
3d-sisneural network architecture3d semantic instance segmentationrgb-d scansmulti-modal inputs
发现论文，激发创造
  • 3DMV：三维多视角联合预测在三维语义场景分割中的应用

    提出了一种名为 3DMV 的新型方法，使用联合 3D - 多视图预测网络对室内环境中 RGB-D 扫描进行三维语义场景分割。通过将 RGB 和几何特征相结合，并以一个可微的 backprojection 层将其映射到三维网格中，这种联合二维 - 三维架构实现了比现有基线方法显著更好的结果。

    Mar, 2018

  • 基于 RGB-D 室内数据的深度学习三维实例分割

    通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

    Jun, 2024

  • 通过将实例和场景纳入环路中进行语义场景补全

    该研究提出了一种双向迭代的 Scene-Instance-Scene Network（SISNet）框架，通过将实例从完成度较高的场景中分离出来进行重建，并通过迭代机制将实例信息重新整合回 3D 场景，提高了语义场景的完成准确率。

    Apr, 2021

  • 深度引导的半监督实例分割

    半监督实例分割的深度引导框架中，深度特征融合和深度控制器的引入提高了模型对深度信息的理解和有效利用，实验证明了方法的有效性，并在 COCO 数据集上优于之前的方法，取得了新的性能指标。

    Jun, 2024

  • 三维实例感知语义映射与三维物体发现

    该文提出了一种用于机器人地图实时构建的方法，其中，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能够有效地识别和跟踪预测的物体实例，并与最先进的方法竞争。

    Mar, 2019

  • 语义图像分割：二十年的研究

    本调查总结了涵盖二十年的 SiS 研究，并提出了文献综述以及使用转换器的深度学习方法的最新趋势，并强调了 DASiS 技术的影响，其中包括多域学习，域泛化和在对新环境进行分割时削减域。项目还介绍了几个与语义图像分割相关的任务和应用，如医学图像分割。

    Feb, 2023

  • 虚拟多视角融合用于三维语义分割

    本文通过重新审视三维网格的经典多视图表示方法，研究了几种技术，使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格，本文方法有效地选取不同的虚拟视图，并渲染多个二维通道，以训练出有效的二维语义分割模型；最终将多视讯预测的特征融合到三维网格顶点上，预测网格语义分割标签。

    Jul, 2020

  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013

  • ALSTER：一种用于在线 3D 语义重建的本地时空专家

    我们提出了一种在线的三维语义分割方法，可以从连续的 RGB-D 帧流中增量重建三维语义地图，适用于具有实时约束的场景，例如机器人技术或混合现实。我们的方法通过联合估计每帧的几何和语义标签来有效提取输入 RGB-D 视频流的信息，并利用 2D 输入和局部 3D 领域的差异进行对语义实体的推理，进而预测场景的增量更新并整合到全局场景表示中，实验结果表明我们的方法相对于现有的在线方法在本地区域产生了改进，并且展示了互补信息可以提升性能的证据。

    Nov, 2023

  • JSIS3D：基于多任务点网络和多值条件随机场的三维点云联合语义实例分割

    本文提出了一种用于 3D 点云的多任务点位网络，实现了语义和实例分割，并比较了不同数据集上的表现。与单一组件相比，我们的方法表现出了更好的鲁棒性和语义分割性能，使用了多值条件随机场进行语义与实例标签联合优化。

    Apr, 2019