Nov, 2020

室内场景分析的高效 RGB-D 语义分割

PDF
TL;DR本文介绍了一种使用 NVIDIA TensorRT 进行优化的高效且稳健的 RGB-D 分割方法，该方法可作为场景分析系统的公共初始处理步骤。我们通过使用 ESANet 在 NYUv2 和 SUNRGB-D 室内数据集上进行评估，展示了 RGB-D 分割优于仅处理 RGB 图像的效果，并证明当网络架构精心设计时仍可实时完成。此外，我们在 Cityscapes 的室外数据集上进行评估，显示了我们的方法也适用于其他应用领域，并展示了我们在一个室内应用场景中的定性结果.
semantic segmentationrgb-d segmentationmobile robotsefficient scene analysis networkstate-of-the-art performance
发现论文，激发创造
  • RGB-D 变换器实现多任务场景分析

    介绍了一种高效的多任务场景分析方法 ——EMSAFormer，使用基于 RGB-D Transformer 的编码器同时执行分割、定位等多项任务，在移动平台上获得最新的性能表现和速度。

    Jun, 2023

  • 室内场景实时渐进式 3D 语义分割

    本文提出了一种高效而健壮的技术，实现了 3D 室内场景的即时密集语义分割和重建，该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场，无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估，证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。

    Apr, 2018

  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

    本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

    Feb, 2020

  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013

  • 基于 RGB-D 室内数据的深度学习三维实例分割

    通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

    Jun, 2024

  • 深度语义分割的三重审视：注重效率、时间性和深度感知的设计

    本文针对自主行驶场景下的语义分割问题进行了调研，从模型开发、RGB-D 数据集集成、时域信息模型三个方面讨论了目前最相关和最新的深度学习方法，旨在为读者提供关于这一激动人心和具有挑战性的研究领域的最新进展。

    Mar, 2023

  • EdgeNet: 从单个 RGB-D 图像完成语义场景

    本文介绍一种新策略，通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息，同时提出了 EdgeNet，一种能够处理深度和边缘信息的新型端到端神经网络结构，实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。

    Aug, 2019

  • 使用 RGB-D 相机的多视角深度学习实现一致的语义映射

    本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

    Mar, 2017

  • RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

    通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

    Oct, 2018