大规模预训练模型在恶劣天气去除中的应用探索

Jun, 2023

Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal

Zhentao Tan, Yue Wu, Qiankun Liu, Qi Chu, Le Lu...

TL;DR本文提出了一种基于空间特征表示学习和语义信息嵌入的方法，通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现，并且实验结果表明该方法达到了最先进的性能水平。

Abstract

image restoration under adverse weather conditions (e.g., rain, snow and haze) is a fundamental computer vision problem and has important

发现论文，激发创造

本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

Nov, 2021

本研究提出了一种名为 ViWS-Net 的视频逆向天气去除框架，通过开发天气通用视频转换编码器和天气特定信息的建模机制，利用逆向梯度预测天气类型的天气鉴别器，以及基于信使的视频转换解码器实现了从各种天气条件下破损视频的完美还原。

Sep, 2023

我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。

Mar, 2024

开发了一种面向实际应用的新型连续学习框架，用于不断学习从不同恶劣天气中提取图像，通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。

Mar, 2024

提出了一种新颖的框架 RAHC，用于恢复复杂的天气情况下的图像，同时建立了一个新的数据集 HAC，用于学习和基准测试不同的天气条件下的图像恢复方法。

May, 2023

提出了一种名为 UtilityIR 的基于退化类型和严重程度感知的模型，用于盲目进行全方位恶劣天气图像恢复，该方法在不同的天气恢复任务上，在客观和主观上都能明显超过其他方法，并拥有更少的模型参数。

Oct, 2023

我们提出了一种用于多种恶劣天气条件下的语义分割的方法，它结合了自适应知识获取、伪标签混合和天气组合回放，能够在增强模型适应性和鲁棒性的同时避免遗忘和不断改进先前学习的天气信息，实现了比现有方法更好的性能。

Jan, 2024

介绍了一种名为 DDCNet 的新型逆风气象图像恢复方法，通过基于信道统计的特征级别对降解去除过程和内容重建过程进行分离，利用傅里叶变换在这两个过程中的独特优势，进而提高恶劣天气图像恢复的质量。

Dec, 2023

通过解决样式差异和天气差异两个方面的问题，本文提出了一种针对目标检测的无监督领域适应框架，能够更有效地适应恶劣天气条件下的真实环境，并在恶劣天气条件下的目标检测方面优于其他方法。

Sep, 2023

基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

Jul, 2022