Dec, 2023

基于语言的一体化恶劣天气去除

PDF
TL;DR提出了一种利用预训练视觉 - 语言模型增加多样化的天气特定知识，并基于描述生成退化指导的语言驱动修复框架，通过选择修复专家来自适应地学习天气特定和共享知识，以应对不同的天气条件。实验证明性能优越。
all-in-one frameworksweather degradationslanguage-driven restorationpre-trained vision-language modelsrestoration scenarios
发现论文，激发创造
  • 统一网络结构下的知识重播全方位恶劣天气去除

    开发了一种面向实际应用的新型连续学习框架，用于不断学习从不同恶劣天气中提取图像，通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。

    Mar, 2024

  • 始终晴朗的日子：意识到退化类型和严重程度的一体化逆境天气消除

    提出了一种名为 UtilityIR 的基于退化类型和严重程度感知的模型，用于盲目进行全方位恶劣天气图像恢复，该方法在不同的天气恢复任务上，在客观和主观上都能明显超过其他方法，并拥有更少的模型参数。

    Oct, 2023

  • DA-RAW：适应真实世界恶劣天气条件下的域自适应目标检测

    通过解决样式差异和天气差异两个方面的问题，本文提出了一种针对目标检测的无监督领域适应框架，能够更有效地适应恶劣天气条件下的真实环境，并在恶劣天气条件下的目标检测方面优于其他方法。

    Sep, 2023

  • 借助语言引导的恶劣天气语义分割

    我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。

    Mar, 2024

  • 大规模预训练模型在恶劣天气去除中的应用探索

    本文提出了一种基于空间特征表示学习和语义信息嵌入的方法，通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现，并且实验结果表明该方法达到了最先进的性能水平。

    Jun, 2023

  • 一次性恢复任意混合恶劣气候条件下拍摄的图像

    提出了一种新颖的框架 RAHC，用于恢复复杂的天气情况下的图像，同时建立了一个新的数据集 HAC，用于学习和基准测试不同的天气条件下的图像恢复方法。

    May, 2023

  • 适用于恶劣天气条件中的对象检测的图像自适应 YOLO

    提出了一种新的图片自适应 YOLO (IA-YOLO) 框架，采用可微分的图像处理 (DIP) 模块设计实现，从而提高在逆境气象条件下的对象检测性能，并且在弱监督学习的情况下，联合学习 CNN-PP 和 YOLOv3。实验结果表明，在雾天和低光场景中，IA-YOLO 方法显示出很好的效果。

    Dec, 2021

  • 基于先验的领域自适应目标检测模型应对模糊和雨天条件

    我们提出了一种基于先验、领域对抗的目标检测框架，通过使用气象学原理获得的天气特定先验知识来定义新的先验对抗损失，并引入一组残差特征恢复块来去除特征空间中的扭曲，提高检测性能。在多个数据集上进行的评估明确证明了该方法的有效性。

    Nov, 2019

  • 强大的 ADAS：增强基于机器学习的先进驾驶辅助系统在恶劣天气下的稳健性

    本文介绍了一种创新方法，即采用去噪深度神经网络作为预处理步骤，将恶劣天气图像转换为晴朗天气图像，从而提高 ML-ADAS 系统的鲁棒性。通过使用基于 UNet 架构训练的 Weather UNet（WUNet）深度神经网络，我们的研究在恶劣天气条件下实现了物体检测性能的显著提升。特别是在极度雾霾的情况下，我们的解决方案将 YOLOv8n 的平均准确率（mAP）从 4% 提高到 70%。

    Jul, 2024

  • 通过天气信使和对抗性反向传播的视频逆天气成分抑制网络

    本研究提出了一种名为 ViWS-Net 的视频逆向天气去除框架，通过开发天气通用视频转换编码器和天气特定信息的建模机制，利用逆向梯度预测天气类型的天气鉴别器，以及基于信使的视频转换解码器实现了从各种天气条件下破损视频的完美还原。

    Sep, 2023