TransWeather：基于 Transformer 的逆天气图像恢复

CVPRNov, 2021

TransWeather：基于 Transformer 的逆天气图像恢复

TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions

Jeya Maria Jose Valanarasu, Rajeev Yasarla, Vishal M. Patel

TL;DR本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

Abstract

Removing adverse weather conditions like rain, fog, and snow from images is an important problem in many applications. Most methods proposed in the literature have been designed to deal with just removing one type of degradation. Recently, a cnn-based method using →

adverse weather removal cnn-based method neural architecture search transformer-based end-to-end model intra-patch transformer blocks

发现论文，激发创造

通过天气信使和对抗性反向传播的视频逆天气成分抑制网络

本研究提出了一种名为 ViWS-Net 的视频逆向天气去除框架，通过开发天气通用视频转换编码器和天气特定信息的建模机制，利用逆向梯度预测天气类型的天气鉴别器，以及基于信使的视频转换解码器实现了从各种天气条件下破损视频的完美还原。

Sep, 2023

大规模预训练模型在恶劣天气去除中的应用探索

本文提出了一种基于空间特征表示学习和语义信息嵌入的方法，通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现，并且实验结果表明该方法达到了最先进的性能水平。

Jun, 2023

解耦恶劣天气图像恢复中的退化与内容处理

介绍了一种名为 DDCNet 的新型逆风气象图像恢复方法，通过基于信道统计的特征级别对降解去除过程和内容重建过程进行分离，利用傅里叶变换在这两个过程中的独特优势，进而提高恶劣天气图像恢复的质量。

Dec, 2023

基于块降噪扩散模型的恶劣天气条件下视觉恢复

基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

Jul, 2022

实践中的真知：视频恶劣天气去除的扩散测试时间自适应

我们在视频中引入了测试时适应性，并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架，在训练阶段，我们设计了一个基于扩散的网络和一种新颖的时间噪声模型，以高效地探索退化视频剪辑中的帧相关信息，在推理阶段，我们引入了一个名为扩散管道自校准的代理任务，学习测试视频流的引物分布，并通过近似时间噪声模型进行在线适应，实验结果表明，我们的测试时适应性方法与基于扩散的网络（Diff-TTA）在恢复受到已知天气条件影响的视频方面优于最先进的方法，其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。

Mar, 2024

统一网络结构下的知识重播全方位恶劣天气去除

开发了一种面向实际应用的新型连续学习框架，用于不断学习从不同恶劣天气中提取图像，通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。

Mar, 2024

MetaWeather: 基于降级模式匹配的少样本天气劣化图像恢复

MetaWeather 是一种针对任意天气条件的少样本天气恢复方法，通过匹配新天气条件下输入图像和示例图像之间的特征，利用元学习构建元知识以提供灵活的适应性，并通过参数高效的微调方法来避免过拟合问题。在 BID Task II.A 数据集上的实验表明，与最先进的图像恢复方法相比，我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。

Aug, 2023

针对雨雪天气去除的有效高效 Transformer

RSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)

Apr, 2023

GridFormer: 残差稠密格子结构变压器用于恶劣天气条件下的图像恢复

本研究提出了一种基于 Transformer 的新型框架 GridFormer，该框架采用网格结构和残差密集 Transformer 块，引入了增强的注意力机制和残差密集 Transformer 块，可在艰难的天气条件下实现图像修复，并在五种不同的图像修复任务下实现了最先进的结果。

May, 2023

使用可视 Transformer 解决 3D 图像 Weather4cast 挑战

本文介绍了通过使用基于 transformer 的算法来解决 NeurIPS 2022 中的 Weather4cast 挑战，预测在接下来的 8 小时内的降雨事件，并通过将不同的 transformer 和基线模型进行集合，获得了最好的性能。

Dec, 2022