Mar, 2024

V2X-DGW: 适应恶劣天气条件下的多智能体感知领域通用化

PDF
TL;DR我们提出了一种名为 V2X-DGW 的领域泛化方法，用于在恶劣天气条件下基于 LiDAR 的多智能体感知系统中进行 3D 目标检测。通过学习仅在良好天气数据上，在不良天气条件下实现令人满意的多智能体性能，这是我们研究的目标。通过模拟三种常见的恶劣天气条件对两个广泛使用的多智能体数据集的影响，我们创造了两个新的基准数据集：OPV2V-w 和 V2XSet-w。我们首先引入了自适应天气增强（AWA）来模拟未见的恶劣天气条件，然后提出了两种适用于泛化表示学习的对齐方法：Trust-region Weather-invariant Alignment（TWA）和 Agent-aware Contrastive Alignment（ACA）。广泛的实验结果表明，我们的 V2X-DGW 在未见的恶劣天气条件下取得了改善。
lidar-basedv2xmulti-agent perception systemadverse weather conditionsdomain generalization
发现论文，激发创造
  • DA-RAW：适应真实世界恶劣天气条件下的域自适应目标检测

    通过解决样式差异和天气差异两个方面的问题，本文提出了一种针对目标检测的无监督领域适应框架，能够更有效地适应恶劣天气条件下的真实环境，并在恶劣天气条件下的目标检测方面优于其他方法。

    Sep, 2023

  • 恶劣天气下的视觉：利用 CycleGAN 和各种目标检测器进行增强，实现自主赛车中的鲁棒感知

    通过使用 CycleGAN 合成多个天气条件下的数据集，我们在自主赛车中将最先进的四个探测器的性能平均提高了 42.7 和 4.4 mAP 百分点，并进行了五种目标探测器的比较分析，以确定在挑战性条件下自主赛车中使用最佳探测器和训练数据。

    Jan, 2022

  • 强大的 ADAS：增强基于机器学习的先进驾驶辅助系统在恶劣天气下的稳健性

    本文介绍了一种创新方法，即采用去噪深度神经网络作为预处理步骤，将恶劣天气图像转换为晴朗天气图像，从而提高 ML-ADAS 系统的鲁棒性。通过使用基于 UNet 架构训练的 Weather UNet（WUNet）深度神经网络，我们的研究在恶劣天气条件下实现了物体检测性能的显著提升。特别是在极度雾霾的情况下，我们的解决方案将 YOLOv8n 的平均准确率（mAP）从 4% 提高到 70%。

    Jul, 2024

  • 带有领域知识保留的多种恶劣天气条件下的语义分割

    我们提出了一种用于多种恶劣天气条件下的语义分割的方法，它结合了自适应知识获取、伪标签混合和天气组合回放，能够在增强模型适应性和鲁棒性的同时避免遗忘和不断改进先前学习的天气信息，实现了比现有方法更好的性能。

    Jan, 2024

  • 自动驾驶中雾天和雨天强化目标检测的域适应

    这篇论文提出了一个新颖的领域自适应目标检测框架，用于自动驾驶在雾天和雨天。我们的方法利用图像级和目标级自适应来减少图像风格和目标外观的领域差异。此外，为了增强模型在具有挑战性样本下的性能，我们引入了一种新的对抗梯度翻转层，该层在领域自适应同时在困难样本上进行对抗挖掘。此外，我们提出通过数据增强生成辅助领域以强制实施新的领域级度量规则。公开基准测试的实验结果表明，在自动驾驶应用的领域转移场景中使用我们提出的方法显著提高了目标检测性能。

    Jul, 2023

  • WEDGE：基于生成视语模型构建的多天气自动驾驶数据集

    为了提高自主感知的对抗鲁棒性，我们介绍了一个由视觉语言生成模型生成的合成数据集 WEDGE（WEather Images by DALL-E GEneration），该数据集包含 16 种极端天气条件下的 3360 张图像，支持天气分类和 2D 物体检测的研究。通过 WEDGE，我们建立了基线性能，分类和检测的准确率分别达到了 53.87％和 45.41 mAP，并且 WEDGE 能够用于调节先进的检测器，如卡车类，使 SOTA 性能在现实天气基准测试（例如 DAWN）方面提高 4.48 个 AP。

    May, 2023

  • 雪景清晰检测：一种在恶劣天气条件下的交通信号灯检测鲁棒模型

    通过引入一种新的框架和流程，我们提出了一种改善恶劣天气下目标检测的方法，重点解决了传统方法在交通信号灯检测方面由于恶劣天气所引起的领域转移问题。我们详细分析了现有技术的局限性，我们的流程在雪天、雨天和雾天中显著提高了检测精度。结果显示与简单调整相比，平均 IoU 和 F1 分数提高了 40.8％，在域转移情况下（如在人工雪天训练，在雨天图片测试）性能提高了 22.4％。

    Jun, 2024

  • 基于能量的激光雷达数据中不良天气影响检测

    本文提出了一种利用基于能量的框架进行异常点检测的新方法，可以准确识别复杂气象条件下 LiDAR 数据中的噪声，有效提高自动驾驶车辆的可靠性。在广泛的实验中，该方法在异常气象检测方面的表现优于当前最先进的方法，具有更高的鲁棒性，并且可以用于同时进行异常点检测和语义分割。为了推进气象复杂条件下 LiDAR 感知的研究领域，我们还发布了 SemanticSpray 数据集。

    May, 2023

  • DI-V2X: 学习领域不变表示的车辆基础设施协同三维物体检测

    通过 DI-V2X 提出了一种新的蒸馏框架，通过域混合实例增强、渐进式域不变蒸馏和域自适应融合模块来减轻 V2X 3D 物体检测中的域差异，实现了卓越的性能。

    Dec, 2023

  • Lidar 光散射增强（LISA）：基于物理的 3D 物体检测的不良天气条件模拟

    通过物理学模拟，提出一种蒙特卡罗混合方法用于模拟恶劣天气下的 LiDAR 点云数据，从而扩展所有天气条件下目标检测器的可靠性，并表明相对于现有模型，在现实世界的雨天场景中，模型的性能有了显著改进。

    Jul, 2021