Jul, 2024

RoadFormer+: 通过尺度感知信息解耦和高级异构特征融合实现RGB-X场景解析

HTML
PDF
TL;DR本研究针对现有路况解析模型在处理多种数据源时表现不佳的问题，提出了一种新模型RoadFormer+，能够高效融合RGB及其他类型的数据（如深度、热成像等）。该模型采用混合特征解耦编码器和多尺度异构特征融合块，有效提升了场景解析的准确性，并在多个基准测试中表现出色，且减少了65%的可学习参数。
发现论文，激发创造
  • ApolloScape自动驾驶开放数据集及其应用

    本文介绍了ApolloScape数据集及其应用于自动驾驶的算法，数据集包含丰富的标签和各个任务的工具和算法，使用多传感器融合以及多任务联合学习的方法，能够实现鲁棒自主定位和语义分割。

    Mar, 2018

  • 学习环视物体，以生成室外场景的俯视图表征

    研究了一个新的问题，即从复杂的室外道路场景的透视视图中估计遮挡推理的语义场景布局，提出了一种卷积神经网络方法，根据前景物体（如汽车或行人）周围的信息来预测场景布局的遮挡部分，直接预测遮挡区域的深度和语义能更好地转换成俯视图，模型的训练不需要昂贵或主观的人工标注。

    Mar, 2018

  • Synscapes：用于街景解析的照片级合成数据集

    使用逼真的渲染技术创建的Synscapes合成数据集在街景分割的训练和验证方面展示了最先进的结果，并研究了网络在合成数据上推断时的行为，并分析了现有分割和检测模型，为计算机视觉系统的分析提供了细微的信息。

    Oct, 2018

  • 用于实时准确地对道路场景进行语义分割的深度双分辨率网络

    提出了一组高效的卷积神经网络骨干架构，通过双分辨率融合和深度上下文聚合金字塔池化模块，实现了在Cityscapes和CamVid数据集上的优于现有模型的精度和速度的实时语义分割。

    Jan, 2021

  • SCENE: 使用异构图神经网络推理交通场景

    本文提出了 SCENE 方法，通过使用异构图神经网络编码交通场景，利用层级图卷积和任务特定解码器进行推理和预测。结果表明，该方法在节点分类任务上表现优异，并具有较强的泛化性。

    Jan, 2023

  • RoadFormer：RGB-Normal 语义道路场景解析的双工变换器

    RoadFormer是一种基于Transformer的数据融合网络，可以精确预测道路场景解析中的语义内容。

    Sep, 2023

  • RSUD20K: 自动驾驶中的道路场景理解数据集

    公路场景理解在自动驾驶中至关重要，使机器能够感知视觉环境。本文介绍了RSUD20K数据集，它由来自孟加拉国道路的超过20K张高分辨率图像组成，包含13种物体的130K个边界框注释。我们的工作在以往努力的基础上显著改进，提供了详细的注释和更复杂的物体。我们对数据集进行了全面的研究，对各种最先进的目标检测器进行了基准测试，并探索了大型视觉模型作为图像注释器。

    Jan, 2024

  • 利用低级表示进行超快速道路分割

    通过利用低级特征代替高级特征，本研究提出了一种低级特征主导的道路分割模型（LFD-RoadSeg），采用双边结构，并结合选择性融合模块来实现道路的实时准确分割，模型在KITTI-Road数据集上获得了最大F1-measure（95.21%）和平均精度（93.71%），在单个TITAN Xp上实现238 FPS，在Jetson TX2上实现54 FPS，模型参数仅为936k。

    Feb, 2024

  • HAPNet：基于混合、非对称和渐进异构特征融合的卓越RGB-热场景解析

    本研究探讨了一种利用VFM特征进行RGB-热像场景解析的可行策略，设计了一个混合的非对称编码器，结合了VFM和卷积神经网络，通过逐步融合互补的异构特征，并引入辅助任务来改善解析性能，最终实现优于所有其他现有RGB-热像场景解析网络的性能。

    Apr, 2024

  • 深度至关重要：探索RGB-D在交通场景语义分割中的深层交互

    该研究解决了RGB-D数据中深度图的空间特性在先前研究中被忽视的问题，导致注意力表征的错误。提出的深度交互金字塔变换器（DiPFormer）通过深度空间感知优化和深度线性交叉注意力的方法，有效提升了道路检测和语义分割任务的性能，显著降低了注意力错位的问题。

    Sep, 2024