Sep, 2024

面向真实世界恶劣天气图像恢复：利用视觉语言模型增强清晰度和语义

HTML
PDF
TL;DR本研究解决了恶劣天气图像恢复方法在真实场景应用时受到的合成数据训练的限制。通过基于视觉语言模型的半监督学习框架，我们能在多样的恶劣天气条件下提升恢复性能，主要通过真实数据来评估清晰度和提供语义信息，取得了比现有先进技术更优的恢复结果。
发现论文，激发创造
  • 基于块降噪扩散模型的恶劣天气条件下视觉恢复

    基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

    Jul, 2022

  • 一次性恢复任意混合恶劣气候条件下拍摄的图像

    提出了一种新颖的框架RAHC，用于恢复复杂的天气情况下的图像，同时建立了一个新的数据集 HAC，用于学习和基准测试不同的天气条件下的图像恢复方法。

    May, 2023

  • MetaWeather: 基于降级模式匹配的少样本天气劣化图像恢复

    MetaWeather是一种针对任意天气条件的少样本天气恢复方法，通过匹配新天气条件下输入图像和示例图像之间的特征，利用元学习构建元知识以提供灵活的适应性，并通过参数高效的微调方法来避免过拟合问题。在BID Task II.A数据集上的实验表明，与最先进的图像恢复方法相比，我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。

    Aug, 2023

  • 始终晴朗的日子：意识到退化类型和严重程度的一体化逆境天气消除

    提出了一种名为UtilityIR的基于退化类型和严重程度感知的模型，用于盲目进行全方位恶劣天气图像恢复，该方法在不同的天气恢复任务上，在客观和主观上都能明显超过其他方法，并拥有更少的模型参数。

    Oct, 2023

  • 基于语言的一体化恶劣天气去除

    提出了一种利用预训练视觉-语言模型增加多样化的天气特定知识，并基于描述生成退化指导的语言驱动修复框架，通过选择修复专家来自适应地学习天气特定和共享知识，以应对不同的天气条件。实验证明性能优越。

    Dec, 2023

  • WeatherProof：恶劣天气中语义分割的配对数据集方法

    使用通用的配对训练方法，改进了大型计算机视觉模型在恶劣气候下的语义分割性能，并创建了WeatherProof数据集，提供了准确的恶劣气候和晴朗天气的图像对，进一步改善了分割性能的评估，并通过一种采用一致性损失和语言引导的训练流程，使性能提高了18.4%。

    Dec, 2023

  • 统一网络结构下的知识重播全方位恶劣天气去除

    开发了一种面向实际应用的新型连续学习框架，用于不断学习从不同恶劣天气中提取图像，通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。

    Mar, 2024

  • 借助语言引导的恶劣天气语义分割

    我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法，通过利用语言作为指导，在不同的气候效应对图像的影响下，模型在WeatherProof和ACDC数据集上表现出了更好的性能。

    Mar, 2024

  • 全天气图像修复：基于视觉上下文学习的技术

    本研究解决了在恶劣天气条件下图像修复的挑战，指出以往方法在训练数据的依赖和上下文信息的利用不足。我们提出的AWRaCLe方法通过利用特定退化的视觉上下文信息，创新性地引导图像修复过程，实验证明该方法在全天气图像修复领域显著提升了性能。

    Aug, 2024

  • 半监督天气条件下的全方位恶劣天气去除框架

    本研究针对现有恶劣天气去除方法主要针对特定天气类型且依赖大量标注数据的局限性，提出了一种新颖的半监督全方位恶劣天气去除框架SemiDDM-Weather，基于教师-学生网络和去噪扩散模型。通过引入质量评估和内容一致性约束，优化伪标签输出，实验结果表明该框架在视觉质量和恶劣天气去除效果上超越了完全监督的方法，展现了重要的应用潜力。

    Sep, 2024