Aug, 2023

特征对齐的对称多模态网络在连续道路场景语义分割中的应用

PDF
TL;DR本研究通过强制执行紧密耦合的特征表示和对称信息共享方案，通过重新定义多模态语义分割任务，实现即使一个输入模态缺失，也能正常工作，提高模型的可靠性，尤其适用于自动驾驶等安全关键应用领域。在 SemanticKITTI 数据集上评估了本方法，并与最接近的竞争者进行了比较。同时还引入了一种特定的持续学习方案，并在渐进式持续学习场景中展示了该方法的有效性。
multimodal semantic segmentationlidarcolor dataasymmetric information-sharing schemescontinual learning
发现论文，激发创造
  • 基于不确定性感知对称网络的快速道路分割

    本文提出了一种基于证据理论的不确定性感知对称网络（USNet），通过完全融合 RGB 和深度数据，折衷速度和准确性。实验结果表明，该方法以 43+ FPS 的实时推理速度实现了最先进的接近 100% 的准确性。

    Mar, 2022

  • SuMa++：高效 LiDAR 语义 SLAM

    本文提出了一种基于三维激光雷达测距扫描和神经网络对语义信息进行提取的建图及定位方法，实现了对运动物体的有效滤波和语义信息约束下的扫描匹配，与现有基于几何约束的方法相比，实验结果表明其性能更优。

    May, 2021

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 多模态语义分割的自监督模型适应

    提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

    Aug, 2018

  • 多模态多任务 (3MT) 道路分割

    该研究提出了一种成本效益高且精确的道路分割解决方案，通过在多任务学习架构中整合来自多个传感器的数据，利用多模态系统比单模态系统能够产生更可靠的结果，使用原始传感器输入而非高预处理成本的架构，同时将 RGB 和 LiDAR 深度图像作为网络的输入，与 IMU/GNSS 惯性导航系统数据进行聚合，实验证明该方法在 KITTI 数据集和 Cityscapes 数据集上都取得了快速且高性能的解决方案，可以与不同的传感器模态一起使用，推理时间非常适合实时实验。

    Aug, 2023

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • 开放环境下语义场景理解的公平持续学习方法

    本文提出了一种基于公平性目标的新型公平连续学习框架，通过基于类分布的方法来解决语义分割中的公平问题，并提出了一种新型的原型对比聚类损失和有条件的结构一致性损失，用于应对连续学习中的灾难性遗忘和背景变化等重要挑战。该方法在三个标准的场景理解基准测试中均取得了最新的表现，并提高了模型的公平性。

    May, 2023

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • Aerial LaneNet：利用小波增强代价敏感的对称全卷积神经网络进行航拍道路标线语义分割

    本文介绍了一种基于对称全卷积神经网络和小波变换的航空车道标线自动分割方法，该方法在使用新型数据增强步骤和自定义损失函数的前提下，在不使用第三方信息的情况下实现了车道标线的高精度像素定位。同时，本文介绍了我们在实验中使用的第一个高质量数据集，该数据集可公开使用，并且可以用作此领域未来算法的基准数据集。

    Mar, 2018

  • AsymFormer：面向移动平台的异模态不对称交叉表示学习实时 RGB-D 语义分割

    在机器人智能领域中，实现高效和准确的 RGB-D 语义分割是一个关键基石。本文提出 AsymFormer，这是一种面向实时 RGB-D 语义分割的新型网络，通过优化计算资源分配和引入非对称骨干网络，对冗余参数进行了最小化，以实现多模态特征的有效融合。此外，通过重新定义特征选择和提取多模态自相似特征，同时不增加参数数量，以确保在机器人平台上实时执行。最后，使用局部关注引导特征选择（LAFS）模块，通过利用不同模态之间的依赖关系选择性地融合特征。通过在 NYUv2 和 SUNRGBD 数据集上评估该方法，AsymFormer 在 NYUv2 上实现了 52.0％的 mIoU，在 SUNRGBD 上实现了 49.1％的 mIoU。特别地，AsymFormer 在 RTX3090 上实现 65 FPS 的推理速度，在实施混合精度量化后，达到了令人印象深刻的 79 FPS 的推理速度。这显著优于现有的多模态方法，从而证明 AsymFormer 在 RGB-D 语义分割方面能够在高准确度和高效性之间取得平衡。

    Sep, 2023