Mar, 2022

基于不确定性感知对称网络的快速道路分割

PDF
TL;DR本文提出了一种基于证据理论的不确定性感知对称网络（USNet），通过完全融合 RGB 和深度数据，折衷速度和准确性。实验结果表明，该方法以 43+ FPS 的实时推理速度实现了最先进的接近 100% 的准确性。
rgb-d based road segmentationautonomous drivinguncertainty-aware symmetric networkfeature fusionreal-time inference
发现论文，激发创造
  • 基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

    本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

    Feb, 2020

  • 自适应蒙版融合网络用于可行驶道路和有不可信特征负障碍物分割

    提出了一种自适应掩膜融合网络 (AMFNet)，通过引入自适应权重掩膜来融合 RGB 和深度图像中不一致的特征，解决了深度图像中无效深度数据的局限，能够更准确地分割自主车辆中行驶道路和负障碍物，并在大规模的数据集上进行了实验验证。

    Apr, 2023

  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 特征对齐的对称多模态网络在连续道路场景语义分割中的应用

    本研究通过强制执行紧密耦合的特征表示和对称信息共享方案，通过重新定义多模态语义分割任务，实现即使一个输入模态缺失，也能正常工作，提高模型的可靠性，尤其适用于自动驾驶等安全关键应用领域。在 SemanticKITTI 数据集上评估了本方法，并与最接近的竞争者进行了比较。同时还引入了一种特定的持续学习方案，并在渐进式持续学习场景中展示了该方法的有效性。

    Aug, 2023

  • AsymFormer：面向移动平台的异模态不对称交叉表示学习实时 RGB-D 语义分割

    在机器人智能领域中，实现高效和准确的 RGB-D 语义分割是一个关键基石。本文提出 AsymFormer，这是一种面向实时 RGB-D 语义分割的新型网络，通过优化计算资源分配和引入非对称骨干网络，对冗余参数进行了最小化，以实现多模态特征的有效融合。此外，通过重新定义特征选择和提取多模态自相似特征，同时不增加参数数量，以确保在机器人平台上实时执行。最后，使用局部关注引导特征选择（LAFS）模块，通过利用不同模态之间的依赖关系选择性地融合特征。通过在 NYUv2 和 SUNRGBD 数据集上评估该方法，AsymFormer 在 NYUv2 上实现了 52.0％的 mIoU，在 SUNRGBD 上实现了 49.1％的 mIoU。特别地，AsymFormer 在 RTX3090 上实现 65 FPS 的推理速度，在实施混合精度量化后，达到了令人印象深刻的 79 FPS 的推理速度。这显著优于现有的多模态方法，从而证明 AsymFormer 在 RGB-D 语义分割方面能够在高准确度和高效性之间取得平衡。

    Sep, 2023

  • 深度超分辨率对称不确定性感知特征传输

    本文提出了一种新颖的对称不确定性特征传输（SUFT）来解决深度图超分辨率中颜色指导的挑战，包括分辨率差异和跨模态差异，并取得了优于现有方法的表现。

    Jun, 2023

  • 具有隔离 - 聚合门的 RGB-D 语义分割的双向跨模态特征传播

    本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.

    Jul, 2020

  • CSFNet: 用于驾驶场景实时 RGB-X 语义分割的余弦相似度融合网络

    本研究提出了余弦相似度融合网络 (CSFNet) 作为实时的 RGB-X 语义分割模型，通过设计余弦相似度注意力融合模块 (CS-AFM) 在不同模态之间有效地整合和融合特征，提高了交叉模态特征在低层的融合，使得高层可以采用单支路网络，从而实现更快速和准确的预测，并在 RGB-D/T/P 语义分割任务中验证了其效果和高效性。

    Jul, 2024

  • 使用 RGB-D 相机的多视角深度学习实现一致的语义映射

    本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

    Mar, 2017

  • 揭示深度：一种多模态融合框架用于挑战场景

    本文提出了一种新颖的方法，通过学习框架，识别和整合主导的跨模态深度特征，独立计算粗略深度图，并使用置信度损失和多模态融合网络进行端到端的深度估计，从而在各种困难情景中展示了鲁棒的深度估计能力。

    Feb, 2024