Sep, 2024

基于直方图的变压器特征增强的多天气图像恢复

HTML
PDF
TL;DR当前的图像恢复任务主要集中在单一天气场景，忽视了现实中多种天气条件的共存和混合。本文提出了一种新的任务序列生成器模块和基于直方图的变压器模块，以有效提取降级图像中的任务特定特征，从而在复杂天气下自动提升图像质量。我们的模型在公共数据集上达到了最先进的性能，具有显著的实际应用潜力。
发现论文，激发创造
  • TransWeather：基于Transformer的逆天气图像恢复

    本研究提出了一种基于Transformer的端到端模型TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比All-in-One方法和Fine-tuned方法更好的效果，并在现实世界的测试图像上进行了验证。

    Nov, 2021

  • 基于块降噪扩散模型的恶劣天气条件下视觉恢复

    基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

    Jul, 2022

  • 针对雨雪天气去除的有效高效Transformer

    RSFormer是一种高效有力的Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将ConvNets和Vision Transformers在分层结构中的接近度结合起来，利用替代自注意力机制的Transformer-like卷积块 (TCB) 以适应输入内容，并提出了全局-本地自注意力采样机制 (GLASM)

    Apr, 2023

  • 一次性恢复任意混合恶劣气候条件下拍摄的图像

    提出了一种新颖的框架RAHC，用于恢复复杂的天气情况下的图像，同时建立了一个新的数据集 HAC，用于学习和基准测试不同的天气条件下的图像恢复方法。

    May, 2023

  • GridFormer: 残差稠密格子结构变压器用于恶劣天气条件下的图像恢复

    本研究提出了一种基于Transformer的新型框架GridFormer，该框架采用网格结构和残差密集Transformer块，引入了增强的注意力机制和残差密集Transformer块，可在艰难的天气条件下实现图像修复，并在五种不同的图像修复任务下实现了最先进的结果。

    May, 2023

  • MetaWeather: 基于降级模式匹配的少样本天气劣化图像恢复

    MetaWeather是一种针对任意天气条件的少样本天气恢复方法，通过匹配新天气条件下输入图像和示例图像之间的特征，利用元学习构建元知识以提供灵活的适应性，并通过参数高效的微调方法来避免过拟合问题。在BID Task II.A数据集上的实验表明，与最先进的图像恢复方法相比，我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。

    Aug, 2023

  • 统一网络结构下的知识重播全方位恶劣天气去除

    开发了一种面向实际应用的新型连续学习框架，用于不断学习从不同恶劣天气中提取图像，通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。

    Mar, 2024

  • 通过直方图变换器恢复不良天气条件下的图像

    基于Transformer的图像恢复方法，使用直方图自注意机制以及动态范围卷积，在逆境天气下恢复图像效果优于传统方法。

    Jul, 2024

  • 面向真实世界恶劣天气图像恢复：利用视觉语言模型增强清晰度和语义

    本研究解决了恶劣天气图像恢复方法在真实场景应用时受到的合成数据训练的限制。通过基于视觉语言模型的半监督学习框架，我们能在多样的恶劣天气条件下提升恢复性能，主要通过真实数据来评估清晰度和提供语义信息，取得了比现有先进技术更优的恢复结果。

    Sep, 2024

  • 基于任务变换器和自适应混合策略的多种天气影像恢复

    本研究解决了现有单任务天气去除模型在复杂多变天气条件下的局限性，提出了一种新颖的多任务严重天气去除模型。该模型采用天气任务序列生成器和快速傅里叶卷积，显著提高了图像质量，尤其在自动驾驶场景中的应用潜力表现优异。

    Sep, 2024