基于任务变换器和自适应混合策略的多种天气影像恢复
本研究提出了一种基于Transformer的端到端模型TransWeather,只使用一个编码器和一个解码器,可以有效去除任何天气条件下的图像失真,其在多个测试数据集上均取得了比All-in-One方法和Fine-tuned方法更好的效果,并在现实世界的测试图像上进行了验证。
Nov, 2021
RSFormer是一种高效有力的Transformer,专门用于消除受天气影响的图像中的雨迹和雪花,它通过将ConvNets和Vision Transformers在分层结构中的接近度结合起来,利用替代自注意力机制的Transformer-like卷积块 (TCB) 以适应输入内容,并提出了全局-本地自注意力采样机制 (GLASM)
Apr, 2023
提出了一种新颖的框架RAHC,用于恢复复杂的天气情况下的图像,同时建立了一个新的数据集 HAC,用于学习和基准测试不同的天气条件下的图像恢复方法。
May, 2023
MetaWeather是一种针对任意天气条件的少样本天气恢复方法,通过匹配新天气条件下输入图像和示例图像之间的特征,利用元学习构建元知识以提供灵活的适应性,并通过参数高效的微调方法来避免过拟合问题。在BID Task II.A数据集上的实验表明,与最先进的图像恢复方法相比,我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。
Aug, 2023
提出了一种名为UtilityIR的基于退化类型和严重程度感知的模型,用于盲目进行全方位恶劣天气图像恢复,该方法在不同的天气恢复任务上,在客观和主观上都能明显超过其他方法,并拥有更少的模型参数。
Oct, 2023
介绍了一种名为DDCNet的新型逆风气象图像恢复方法,通过基于信道统计的特征级别对降解去除过程和内容重建过程进行分离,利用傅里叶变换在这两个过程中的独特优势,进而提高恶劣天气图像恢复的质量。
Dec, 2023
开发了一种面向实际应用的新型连续学习框架,用于不断学习从不同恶劣天气中提取图像,通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。
Mar, 2024
我们在视频中引入了测试时适应性,并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架,在训练阶段,我们设计了一个基于扩散的网络和一种新颖的时间噪声模型,以高效地探索退化视频剪辑中的帧相关信息,在推理阶段,我们引入了一个名为扩散管道自校准的代理任务,学习测试视频流的引物分布,并通过近似时间噪声模型进行在线适应,实验结果表明,我们的测试时适应性方法与基于扩散的网络(Diff-TTA)在恢复受到已知天气条件影响的视频方面优于最先进的方法,其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。
Mar, 2024
本研究解决了恶劣天气图像恢复方法在真实场景应用时受到的合成数据训练的限制。通过基于视觉语言模型的半监督学习框架,我们能在多样的恶劣天气条件下提升恢复性能,主要通过真实数据来评估清晰度和提供语义信息,取得了比现有先进技术更优的恢复结果。
Sep, 2024
当前的图像恢复任务主要集中在单一天气场景,忽视了现实中多种天气条件的共存和混合。本文提出了一种新的任务序列生成器模块和基于直方图的变压器模块,以有效提取降级图像中的任务特定特征,从而在复杂天气下自动提升图像质量。我们的模型在公共数据集上达到了最先进的性能,具有显著的实际应用潜力。
Sep, 2024