统一网络结构下的知识重播全方位恶劣天气去除
提出了一种名为 UtilityIR 的基于退化类型和严重程度感知的模型,用于盲目进行全方位恶劣天气图像恢复,该方法在不同的天气恢复任务上,在客观和主观上都能明显超过其他方法,并拥有更少的模型参数。
Oct, 2023
提出了一种利用预训练视觉 - 语言模型增加多样化的天气特定知识,并基于描述生成退化指导的语言驱动修复框架,通过选择修复专家来自适应地学习天气特定和共享知识,以应对不同的天气条件。实验证明性能优越。
Dec, 2023
本研究提出了一种基于 Transformer 的端到端模型 TransWeather,只使用一个编码器和一个解码器,可以有效去除任何天气条件下的图像失真,其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果,并在现实世界的测试图像上进行了验证。
Nov, 2021
提出了一种新颖的框架 RAHC,用于恢复复杂的天气情况下的图像,同时建立了一个新的数据集 HAC,用于学习和基准测试不同的天气条件下的图像恢复方法。
May, 2023
本文提出了一种基于空间特征表示学习和语义信息嵌入的方法,通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现,并且实验结果表明该方法达到了最先进的性能水平。
Jun, 2023
本研究提出了一种名为 ViWS-Net 的视频逆向天气去除框架,通过开发天气通用视频转换编码器和天气特定信息的建模机制,利用逆向梯度预测天气类型的天气鉴别器,以及基于信使的视频转换解码器实现了从各种天气条件下破损视频的完美还原。
Sep, 2023
介绍了一种名为 DDCNet 的新型逆风气象图像恢复方法,通过基于信道统计的特征级别对降解去除过程和内容重建过程进行分离,利用傅里叶变换在这两个过程中的独特优势,进而提高恶劣天气图像恢复的质量。
Dec, 2023
我们提出了一种用于多种恶劣天气条件下的语义分割的方法,它结合了自适应知识获取、伪标签混合和天气组合回放,能够在增强模型适应性和鲁棒性的同时避免遗忘和不断改进先前学习的天气信息,实现了比现有方法更好的性能。
Jan, 2024
我们在视频中引入了测试时适应性,并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架,在训练阶段,我们设计了一个基于扩散的网络和一种新颖的时间噪声模型,以高效地探索退化视频剪辑中的帧相关信息,在推理阶段,我们引入了一个名为扩散管道自校准的代理任务,学习测试视频流的引物分布,并通过近似时间噪声模型进行在线适应,实验结果表明,我们的测试时适应性方法与基于扩散的网络(Diff-TTA)在恢复受到已知天气条件影响的视频方面优于最先进的方法,其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。
Mar, 2024
通过知识蒸馏,我们提出了一种基于 Rain Review 的通用视频除雨网络(称为 RRGNet),它可以处理不同的雨线类型,并具备最佳的运行速度和除雨效果。
Aug, 2023