AAAIFeb, 2024

晴转暴雨：跨天气知识蒸馏实现鲁棒 3D 目标检测

PDF
TL;DR本文提出了一种新颖的雨水模拟方法 DRET，将动力学与雨天环境理论相结合，以提供一种经济高效的方法来扩展用于 3D 检测训练的现实雨水数据。此外，本文还提出了一种从晴天到雨天的知识蒸馏方法（SRKD），以增强在雨天条件下的 3D 检测能力。大规模数据集 WaymoOpenDataset 上的广泛实验表明，将我们提出的框架与最先进的 DSVT 模型和其他经典 3D 检测器相结合，可以显著改善检测准确性，同时不会损失效率。值得注意的是，我们的框架还能提高在晴天条件下的检测能力，因此无论天气是雨天还是晴天，都提供了一种强大的 3D 检测解决方案。
lidar-based 3d object detectionrain simulation methoddretsunny-to-rainy knowledge distillationwaymoopendataset
发现论文，激发创造
  • 面向多雨条件下的鲁棒三维物体检测

    通过使用先进的天气监测网络来过滤喷雾，这篇研究提出了一个框架来提高基于 LiDAR 的 3D 物体检测器对泥水喷溅的抗扰动能力，并且进一步探索了雷达目标的应用来过滤误检。实际数据测试表明，该方法改善了多个热门的 3D 物体检测器对泥水喷溅的稳健性。

    Oct, 2023

  • Lidar 光散射增强（LISA）：基于物理的 3D 物体检测的不良天气条件模拟

    通过物理学模拟，提出一种蒙特卡罗混合方法用于模拟恶劣天气下的 LiDAR 点云数据，从而扩展所有天气条件下目标检测器的可靠性，并表明相对于现有模型，在现实世界的雨天场景中，模型的性能有了显著改进。

    Jul, 2021

  • LiDAR 雪量模拟用于鲁棒的三维物体检测

    本文从雪天的实际应用场景出发，提出了一个基于物理仿真的方法来模拟雪天对激光雷达的影响，并通过生成部分合成的雪天激光雷达数据对 3D 目标检测模型进行训练，实现了在雪天环境下具有鲁棒性的检测效果。

    Mar, 2022

  • CARLA 模拟器中基于 LiDAR 的逼真雨天气模拟

    我们提出了一种基于模拟器的物理建模方法，用于增强在雨天中的 LiDAR 数据，以提高其在此场景下的感知性能。实验证明，通过合成数据增强的模型可以提高在 Waymo 开放数据集的雨天序列中的目标检测任务性能。

    Dec, 2023

  • 用于评估和提高对恶劣天气的鲁棒性的雨天渲染

    本文介绍了一种雨渲染流程，可用于定量评估常见计算机视觉算法对不同程度降雨的影响，通过添加物理和数据驱动的合成雨生成合成数据集，证明算法的性能随着恶劣天气的增加而降低，且在增强的合成数据上微调可获得较高的性能提升。

    Sep, 2020

  • 基于物理的渲染以提高对雨的鲁棒性

    提出了基于物理原理的雨渲染技术，通过物理粒子模拟器和精确的雨光度建模实现向晴朗天气图像中添加任意数量逼真雨或雾的效果。通过用户研究验证了渲染效果比已有技术更加逼真。利用渲染后生成的天气增强数据进行了深度物体检测和语义分割算法的全面评估，并表明它们的性能在恶劣天气下会有所降低，通过使用增强数据可以提高算法的稳健性。在 nuScenes 数据集上进行了实验，结果显示，与原始的降雨性能相比，物体检测的性能提高了 15％，语义分割的性能提高了 35％。

    Aug, 2019

  • 雪景清晰检测：一种在恶劣天气条件下的交通信号灯检测鲁棒模型

    通过引入一种新的框架和流程，我们提出了一种改善恶劣天气下目标检测的方法，重点解决了传统方法在交通信号灯检测方面由于恶劣天气所引起的领域转移问题。我们详细分析了现有技术的局限性，我们的流程在雪天、雨天和雾天中显著提高了检测精度。结果显示与简单调整相比，平均 IoU 和 F1 分数提高了 40.8％，在域转移情况下（如在人工雪天训练，在雨天图片测试）性能提高了 22.4％。

    Jun, 2024

  • 自动驾驶中雾天和雨天强化目标检测的域适应

    这篇论文提出了一个新颖的领域自适应目标检测框架，用于自动驾驶在雾天和雨天。我们的方法利用图像级和目标级自适应来减少图像风格和目标外观的领域差异。此外，为了增强模型在具有挑战性样本下的性能，我们引入了一种新的对抗梯度翻转层，该层在领域自适应同时在困难样本上进行对抗挖掘。此外，我们提出通过数据增强生成辅助领域以强制实施新的领域级度量规则。公开基准测试的实验结果表明，在自动驾驶应用的领域转移场景中使用我们提出的方法显著提高了目标检测性能。

    Jul, 2023

  • 无监督单目深度估计：谈谈天气

    本文提出了一种方法，使用计算机图形和生成模型相结合，通过扩充现有的晴天数据以模拟恶劣天气状况，将增广用于无监督深度估计，进而引入伪监督损失来解决降低性能的问题。

    Jul, 2023

  • NiteDR: 跨视传感器协作学习的动态驾驶场景夜间图像去雨

    针对夜间行驶场景中受雨水降解影响、图像质量和能见度下降的问题，我们开发了一个夜间行驶场景下的图像去雨框架，通过可见光和红外图像的跨视图融合，去除雨痕、丰富场景表征并恢复有用信息，实验证明了我们提出的跨视图合作学习方法在低光强雨水环境下具有较好效果，并弥补了现有去雨算法在特定低光条件下的利用缺口。

    Feb, 2024