基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

Feb, 2020

基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

Real-time Fusion Network for RGB-D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road-driving Images

PDF

Lei Sun, Kailun Yang, Xinxin Hu, Weijian Hu, Kaiwei Wang

TL;DR本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

Abstract

semantic segmentation has made striking progress due to the success of deep convolutional neural networks. Considering the demands of autonomous

semantic segmentation convolutional neural networks real-time fusion autonomous driving rgb-d

发现论文，激发创造

基于融合网络的亮度、深度和颜色信息用于语义分割

本文提出了一种名为 LDFNet 的新型解决方案，通过融合网络来综合利用亮度，深度和颜色信息，以提高 RGB-D 语义分割任务的性能，实验表明其潜力和适用性

Sep, 2018

基于 RGB-D 语义分割的小障碍物避障

本文提出了一种基于 RGB-D 传感器的道路机器人避障系统，使用两阶段语义分割网络生成语义地图以便进行局部路径规划，采用光流监督和运动模糊增强的训练方法，实现室内外道路机器人的无碰撞自主导航。

Aug, 2019

基于不确定性感知对称网络的快速道路分割

本文提出了一种基于证据理论的不确定性感知对称网络（USNet），通过完全融合 RGB 和深度数据，折衷速度和准确性。实验结果表明，该方法以 43+ FPS 的实时推理速度实现了最先进的接近 100% 的准确性。

Mar, 2022

RGB-D 物体识别的循环卷积融合

本文提出了一种称为循环卷积融合（RCFusion）的新型 RGB-D 物体识别端到端架构，能够通过组合互补的 RGB 和深度信息表示不同抽象层次的信息来生成紧凑且高度可区分的多模态特征，并在两个流行数据集上的实验中，优于现有的最先进方法。

Jun, 2018

基于多模态注意力融合的 RGB - 深度图像语义分割模型

本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

Dec, 2019

使用 RGB-D 相机的多视角深度学习实现一致的语义映射

本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

Mar, 2017

使用 RGB-D 融合在 DiffusionDet 框架中增强的汽车物体检测

一项基于视觉的自动驾驶需要可靠高效的对象检测的研究提出了一种 DiffusionDet 框架，该框架利用单目相机和深度传感器的数据融合来提供 RGB 和深度（RGB-D）数据，并通过在训练阶段随机重塑基准边界框，使模型学习噪声加入的相反扩散过程。通过将 RGB 图像的纹理和颜色特征与 LiDAR 传感器的空间深度信息结合起来，所提出的框架采用了特征融合，从而大大提高了汽车目标的对象检测能力。在 KITTI 数据集上进行的全面实验取得了 2.3 的 AP 增益，特别是在检测小物体方面展示了所提出方法的改进性能。

Jun, 2024

室内场景分析的高效 RGB-D 语义分割

本文介绍了一种使用 NVIDIA TensorRT 进行优化的高效且稳健的 RGB-D 分割方法，该方法可作为场景分析系统的公共初始处理步骤。我们通过使用 ESANet 在 NYUv2 和 SUNRGB-D 室内数据集上进行评估，展示了 RGB-D 分割优于仅处理 RGB 图像的效果，并证明当网络架构精心设计时仍可实时完成。此外，我们在 Cityscapes 的室外数据集上进行评估，显示了我们的方法也适用于其他应用领域，并展示了我们在一个室内应用场景中的定性结果.

Nov, 2020

面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

Aug, 2023

基于场景特定融合模块的 RGB-X 物体检测

多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

Oct, 2023