CVPRMay, 2023

WEDGE：基于生成视语模型构建的多天气自动驾驶数据集

PDF
TL;DR为了提高自主感知的对抗鲁棒性，我们介绍了一个由视觉语言生成模型生成的合成数据集 WEDGE（WEather Images by DALL-E GEneration），该数据集包含 16 种极端天气条件下的 3360 张图像，支持天气分类和 2D 物体检测的研究。通过 WEDGE，我们建立了基线性能，分类和检测的准确率分别达到了 53.87％和 45.41 mAP，并且 WEDGE 能够用于调节先进的检测器，如卡车类，使 SOTA 性能在现实天气基准测试（例如 DAWN）方面提高 4.48 个 AP。
autonomous perceptionextreme weatherwedge datasetobject detectionadversarial robustness
发现论文，激发创造
  • WEDGE: 基于 Web 图像辅助的领域泛化语义分割

    本文提出了一个 WEb-image assisted Domain GEneralization (WEDGE) 方案，利用网络爬取的数据集进行语义分割的域泛化，将网络爬取的数据代表的样式表达引入源域，通过有效训练使网络经历不同风格的图像，通过使用带有伪标签的网络爬取数据集训练可以进一步提高网络的能力，并通过广泛的实验表明，该方法明显优于现有的域泛化技术。

    Sep, 2021

  • Ithaca365：重复和具有挑战性的天气条件下的数据集和驾驶感知

    为了实现自主驾驶高安全性要求下的鲁棒性，本文提出了一种新数据集的收集方法，覆盖多种天气、交通和场景，包含图像和点云数据以及高精度 GPS/INS 数据，并在此基础上分析了自动驾驶的三个关键问题的性能表现。

    Aug, 2022

  • 借助语言引导的恶劣天气语义分割

    我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。

    Mar, 2024

  • V2X-DGW: 适应恶劣天气条件下的多智能体感知领域通用化

    我们提出了一种名为 V2X-DGW 的领域泛化方法，用于在恶劣天气条件下基于 LiDAR 的多智能体感知系统中进行 3D 目标检测。通过学习仅在良好天气数据上，在不良天气条件下实现令人满意的多智能体性能，这是我们研究的目标。通过模拟三种常见的恶劣天气条件对两个广泛使用的多智能体数据集的影响，我们创造了两个新的基准数据集：OPV2V-w 和 V2XSet-w。我们首先引入了自适应天气增强（AWA）来模拟未见的恶劣天气条件，然后提出了两种适用于泛化表示学习的对齐方法：Trust-region Weather-invariant Alignment（TWA）和 Agent-aware Contrastive Alignment（ACA）。广泛的实验结果表明，我们的 V2X-DGW 在未见的恶劣天气条件下取得了改善。

    Mar, 2024

  • IDD-AW：用于在无结构交通和恶劣天气中进行安全稳健分割的基准

    大规模部署的全自动驾驶车辆需要非常高的稳健性来应对复杂的交通和恶劣天气条件，并且应该避免不安全的错误预测。本研究介绍了 IDD-AW 数据集，它提供了 5000 对高质量图像和像素级注释，这些图像是在雨天、雾天、低光和雪天等复杂驾驶条件下捕获的。相比其他恶劣天气数据集，我们提供了更多的标注图像、每一帧的配对近红外（NIR）图像和更大的标签集，以捕捉复杂的交通条件。我们在 IDD-AW 数据集上对语义分割的最新模型进行了基准测试，并提出了一种称为 “Safe mean Intersection over Union（Safe mIoU）” 的新度量标准，用于惩罚传统定义中没有捕捉到的危险误判，结果表明 IDD-AW 是迄今为止这些任务中最具挑战性的数据集。数据集和代码可点击此链接获取。

    Nov, 2023

  • WeatherProof：恶劣天气中语义分割的配对数据集方法

    使用通用的配对训练方法，改进了大型计算机视觉模型在恶劣气候下的语义分割性能，并创建了 WeatherProof 数据集，提供了准确的恶劣气候和晴朗天气的图像对，进一步改善了分割性能的评估，并通过一种采用一致性损失和语言引导的训练流程，使性能提高了 18.4%。

    Dec, 2023

  • 一种适用于 WeatherProof 挑战赛 CVPR 2024 Workshop UG2 + 的两阶段恶劣天气语义分割方法

    我们团队利用两阶段深度学习框架，在恶劣天气条件下的语义分割任务中通过预处理数据、生成高保真度地面真值，以及应用 InternImage 网络等方法，成功获得了 0.43 的平均交并比（mIoU）竞赛得分，在竞赛中获得了第四名的可观成绩。

    Jun, 2024

  • 适用于恶劣天气中汽车感知的雷达数据集

    本文介绍了一种名为 RADIATE 的公开数据集，使用雷达传感器获取高分辨率的公共道路数据图像，以进行安全自动驾驶的物体检测，跟踪和场景理解的研究。该数据集是第一个在恶劣天气条件下提供公共道路高分辨率雷达图像的数据集，包含超过 200,000 个标记的道路演员。

    Oct, 2020

  • 恶劣天气下的视觉：利用 CycleGAN 和各种目标检测器进行增强，实现自主赛车中的鲁棒感知

    通过使用 CycleGAN 合成多个天气条件下的数据集，我们在自主赛车中将最先进的四个探测器的性能平均提高了 42.7 和 4.4 mAP 百分点，并进行了五种目标探测器的比较分析，以确定在挑战性条件下自主赛车中使用最佳探测器和训练数据。

    Jan, 2022

  • SemanticSpray++：湿地表自主驾驶的多模态数据集

    自动驾驶汽车在相机、激光雷达和雷达传感器的支持下进行环境导航。为解决相机和激光雷达在恶劣天气如雪、雨、雾中的表现问题，文章介绍了 SemanticSpray++ 数据集，其中包含了湿地表面情境下相机、激光雷达和雷达数据的标注信息，为不同感知方法在湿地表面条件下车辆行驶时的性能分析提供了综合性测试环境。文章还介绍了综合性的数据统计以及对多个基线方法在不同任务中的评估和性能分析。该数据集将在指定的 URL 上提供。

    Jun, 2024