Sep, 2024

全天气网络：统一图像增强方法用于恶劣天气和低光条件下的自动驾驶

HTML
PDF
TL;DR本研究解决了恶劣天气和低光条件对自动驾驶感知系统造成的图像质量下降问题，现有方法效果有限且多聚焦于单一条件。我们提出的全天气网络采用新颖的层级架构和可扩展的照明感知注意力机制，提升了图像质量，使得自动驾驶的语义分割性能提高了最高5.3%。此外，该模型在未知领域的推广能力表现出色，提升了最高3.9%的mIoU。
发现论文，激发创造
  • 使用完全合成数据进行雾天场景的语义理解

    本文提出了一种使用全新的纯合成数据进行实时雾天交通场景视觉分割的方法，并展示了其在真实数据上的适用性和与以往方法的对比优势。

    Oct, 2019

  • 恶劣天气下的视觉：利用CycleGAN和各种目标检测器进行增强，实现自主赛车中的鲁棒感知

    通过使用CycleGAN合成多个天气条件下的数据集，我们在自主赛车中将最先进的四个探测器的性能平均提高了42.7和4.4 mAP百分点，并进行了五种目标探测器的比较分析，以确定在挑战性条件下自主赛车中使用最佳探测器和训练数据。

    Jan, 2022

  • 一种高效的领域增量学习方法，用于在各种天气条件下驾驶

    提出一种名为DISC的在线领域增量学习方法，可在不需要重新训练或昂贵的内存银行的情况下，逐步学习新任务(即天气条件)，通过分类每个域的一阶和二阶统计量变化，将统计矢量插入到相应任务的模型中，目标检测结果显示出其在不同恶劣天气条件下的一个具有挑战性的域增量自动驾驶场景下的有效性。

    Apr, 2022

  • Ithaca365：重复和具有挑战性的天气条件下的数据集和驾驶感知

    为了实现自主驾驶高安全性要求下的鲁棒性，本文提出了一种新数据集的收集方法，覆盖多种天气、交通和场景，包含图像和点云数据以及高精度GPS/INS数据，并在此基础上分析了自动驾驶的三个关键问题的性能表现。

    Aug, 2022

  • WEDGE：基于生成视语模型构建的多天气自动驾驶数据集

    为了提高自主感知的对抗鲁棒性，我们介绍了一个由视觉语言生成模型生成的合成数据集WEDGE（WEather Images by DALL-E GEneration），该数据集包含16种极端天气条件下的3360张图像，支持天气分类和2D物体检测的研究。通过WEDGE，我们建立了基线性能，分类和检测的准确率分别达到了53.87％和45.41 mAP，并且WEDGE能够用于调节先进的检测器，如卡车类，使SOTA性能在现实天气基准测试（例如DAWN）方面提高4.48个AP。

    May, 2023

  • NiteDR: 跨视传感器协作学习的动态驾驶场景夜间图像去雨

    针对夜间行驶场景中受雨水降解影响、图像质量和能见度下降的问题，我们开发了一个夜间行驶场景下的图像去雨框架，通过可见光和红外图像的跨视图融合，去除雨痕、丰富场景表征并恢复有用信息，实验证明了我们提出的跨视图合作学习方法在低光强雨水环境下具有较好效果，并弥补了现有去雨算法在特定低光条件下的利用缺口。

    Feb, 2024

  • 借助语言引导的恶劣天气语义分割

    我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在WeatherProof和ACDC数据集上表现出了更好的性能。

    Mar, 2024

  • UniMix: 面向适应领域和通用的恶劣天气下的激光雷达语义分割

    提出了一种名为UniMix的通用方法，通过有效减小领域差异，使LSS模型能够学习天气稳健和领域不变的表示，实现自动驾驶中对不同天气条件下的全面适应性。

    Apr, 2024

  • 雪景清晰检测: 一种在恶劣天气条件下的交通信号灯检测鲁棒模型

    通过引入一种新的框架和流程，我们提出了一种改善恶劣天气下目标检测的方法，重点解决了传统方法在交通信号灯检测方面由于恶劣天气所引起的领域转移问题。我们详细分析了现有技术的局限性，我们的流程在雪天、雨天和雾天中显著提高了检测精度。结果显示与简单调整相比，平均IoU和F1分数提高了40.8％，在域转移情况下（如在人工雪天训练，在雨天图片测试）性能提高了22.4％。

    Jun, 2024

  • 通过图像增强改善恶劣天气下的自动驾驶车辆感知能力

    本研究解决了自动驾驶车辆在恶劣天气条件下感知性能不足的问题，提出在语义分割训练过程中应用图像增强技术，以提升模型对多种天气条件的适应能力。研究发现，虽然在恶劣天气夜间条件下，应用增强技术显著提高了分割效果，但与天气数据训练的模型相比，增强数据训练的模型在晴朗天气外的情况下表现较低，表明领域适应方法仍有提升空间。

    Aug, 2024