Sep, 2023

通过天气信使和对抗性反向传播的视频逆天气成分抑制网络

PDF
TL;DR本研究提出了一种名为 ViWS-Net 的视频逆向天气去除框架，通过开发天气通用视频转换编码器和天气特定信息的建模机制，利用逆向梯度预测天气类型的天气鉴别器，以及基于信使的视频转换解码器实现了从各种天气条件下破损视频的完美还原。
convolutional neural networksadverse weather conditionsvideo restorationweather-specific informationviws-net
发现论文，激发创造
  • TransWeather：基于 Transformer 的逆天气图像恢复

    本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

    Nov, 2021

  • 实践中的真知：视频恶劣天气去除的扩散测试时间自适应

    我们在视频中引入了测试时适应性，并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架，在训练阶段，我们设计了一个基于扩散的网络和一种新颖的时间噪声模型，以高效地探索退化视频剪辑中的帧相关信息，在推理阶段，我们引入了一个名为扩散管道自校准的代理任务，学习测试视频流的引物分布，并通过近似时间噪声模型进行在线适应，实验结果表明，我们的测试时适应性方法与基于扩散的网络（Diff-TTA）在恢复受到已知天气条件影响的视频方面优于最先进的方法，其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。

    Mar, 2024

  • 大规模预训练模型在恶劣天气去除中的应用探索

    本文提出了一种基于空间特征表示学习和语义信息嵌入的方法，通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现，并且实验结果表明该方法达到了最先进的性能水平。

    Jun, 2023

  • 统一网络结构下的知识重播全方位恶劣天气去除

    开发了一种面向实际应用的新型连续学习框架，用于不断学习从不同恶劣天气中提取图像，通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。

    Mar, 2024

  • 一种适用于 WeatherProof 挑战赛 CVPR 2024 Workshop UG2 + 的两阶段恶劣天气语义分割方法

    我们团队利用两阶段深度学习框架，在恶劣天气条件下的语义分割任务中通过预处理数据、生成高保真度地面真值，以及应用 InternImage 网络等方法，成功获得了 0.43 的平均交并比（mIoU）竞赛得分，在竞赛中获得了第四名的可观成绩。

    Jun, 2024

  • 解耦恶劣天气图像恢复中的退化与内容处理

    介绍了一种名为 DDCNet 的新型逆风气象图像恢复方法，通过基于信道统计的特征级别对降解去除过程和内容重建过程进行分离，利用傅里叶变换在这两个过程中的独特优势，进而提高恶劣天气图像恢复的质量。

    Dec, 2023

  • 借助语言引导的恶劣天气语义分割

    我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。

    Mar, 2024

  • 一次性恢复任意混合恶劣气候条件下拍摄的图像

    提出了一种新颖的框架 RAHC，用于恢复复杂的天气情况下的图像，同时建立了一个新的数据集 HAC，用于学习和基准测试不同的天气条件下的图像恢复方法。

    May, 2023

  • 基于块降噪扩散模型的恶劣天气条件下视觉恢复

    基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

    Jul, 2022

  • 物理感知网络和全天候多模态逆境天气图像融合基准

    在这篇论文中，我们提出了一种适用于各种天气条件下的多模态图像融合模型，该模型具有抵抗不同天气干扰的能力，并在极端天气条件下展示出出色的细节恢复和多模态特征提取能力。

    Feb, 2024