Jul, 2023

面向道路场景光场语义分割的全视孔融合

HTML
PDF
TL;DR利用全景光场相机的丰富角度和空间信息提高自动驾驶领域中的图像语义分割，但角度信息过多，在智能车辆的有限硬件资源上变得压倒性。因此，提出了一种全景孔径融合模型（OAFuser），从中心视图的密集语境中获取代表性信息，并从子孔径图像中发现角度信息生成语义一致结果。提出了一个简单而非常有效的子孔径融合模块（SAFM），将子孔径图像嵌入角度特征，避免了网络传播期间的特征丢失以及来自全景光场相机的冗余信息。此外，还提出了中心角度矫正模块（CARM）来处理视点之间不匹配的空间信息，防止由不对称信息引起的特征重叠。我们提出的OAFuser在UrbanLF-Real和-Syn数据集上取得了最先进的性能，并在UrbanLF-Real扩展数据集上取得了84.93%的mIoU的新纪录，增益为+4.53%。OAFuser的源代码将在此URL公开发布。
发现论文，激发创造
  • SemanticKITTI: 一个用于LiDAR序列的语义场景理解数据集

    本文提出了一个基于汽车激光雷达的大型数据集，用于推动基于激光的语义分割研究。作者提出了三项基于该数据集的基准任务，包括使用单个扫描和使用多个过去扫描的语义分割，以及需要预测未来语义场景的语义场景预测。作者提供了基线实验，并表明需要更复杂的模型才能有效处理这些任务。该数据集不仅为更先进的方法的开发打开了大门，而且还提供了丰富的数据来调查新的研究方向。

    Apr, 2019

  • 基于RGB和LiDAR融合的自动驾驶3D语义分割

    本文旨在研究基于传感器融合技术的三维语义分割，将RGB图像转化为LiDAR所使用的极坐标网格映射表示，并设计了早期和中期融合架构，同时提出了融合两种算法的混合融合结构。在KITTI数据集中评估了所提出算法的效果，并相对于仅使用LiDAR的基线模型，在两种最先进的算法SqueezeSeg和PointSeg上分别提高了10%的分割精度。

    Jun, 2019

  • OmniDet：基于全景摄像头的自动驾驶多任务视觉感知网络

    本文提出在未经校正的鱼眼图像上运行的多任务视觉感知网络来加强自动汽车系统的六个主要任务，其中包括深度估计，视觉测距，语义分割，动态分割，目标检测以及镜头污染检测，通过联合训练模型，在KITTI数据集上实现深度估计和姿态估计任务的最新结果。

    Feb, 2021

  • FPS-Net：大规模LiDAR点云分割的卷积融合网络

    该研究设计了FPS-Net网络，利用点云投影图像的不同特征进行多模态特征融合，旨在优化点云的分段。该网络的有效性在广泛实验中得到证明，可以实现优于现有方法的语义分割，并且引入的多模态融合思想也兼容于典型的投影方法。

    Mar, 2021

  • 捕获全向分割的全向范围上下文

    本文描述了一种名为ECANets的新型神经网络模型，它能够通过捕获全景图像中内在的长程相关性来对城市环境进行分割，以及该模型的训练策略和评估结果。

    Mar, 2021

  • CMDFusion: 交叉模态知识蒸馏的双向融合网络用于激光雷达语义分割

    我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过2D到3D融合和3D到2D融合显式和隐式增强了3D特征，并通过从2D网络到3D网络的蒸馏传递2D知识，使得3D网络能够根据3D LIDAR输入生成2D信息，无需在推理过程中使用RGB图像。我们的CMDFusion在SemanticKITTI和nuScenes数据集上表现出了最佳性能。

    Jul, 2023

  • CLFT：用于自动驾驶语义分割的相机-LiDAR融合变压器

    提出了基于Vision Transformer的网络进行相机-LiDAR融合，用于自动驾驶的语义分割，成功地在挑战性条件下如雨天和低照明环境下展示了健壮的性能。

    Apr, 2024

  • PanoSSC：探索用于自动驾驶的单目全景三维场景重构

    通过在三维体素场景中进行全景分割的研究，我们提出了一种实例感知的占据网格模型 PanoSSC，可以有效地提取单个对象，将几何重建、三维语义分割和三维实例分割统一到 PanoSSC 框架中，并提出了用于评估全景体素的新指标。在 SemanticKITTI 语义场景完成基准测试中，我们的方法取得了有竞争力的结果。

    Jun, 2024

  • CSFNet: 用于驾驶场景实时RGB-X语义分割的余弦相似度融合网络

    本研究提出了余弦相似度融合网络 (CSFNet) 作为实时的RGB-X语义分割模型，通过设计余弦相似度注意力融合模块 (CS-AFM) 在不同模态之间有效地整合和融合特征，提高了交叉模态特征在低层的融合，使得高层可以采用单支路网络，从而实现更快速和准确的预测，并在RGB-D/T/P语义分割任务中验证了其效果和高效性。

    Jul, 2024

  • 开放式全景分割

    通过使用开放性全景分割任务，以及采用可变形适配器网络和随机全景等距投影数据增强方法，我们提出的OOOPS模型在三个全景数据集上均取得了令人瞩目的性能提升，特别是在野外环境WildPASS上达到了+2.2％，在室内环境Stanford2D3D上达到了+2.4％的平均交并比（mIoU）

    Jul, 2024