物理感知网络和全天候多模态逆境天气图像融合基准
我们介绍了一种在恶劣天气条件下的可见 - 红外目标检测,通过引入 Cross-modality Fusion Mamba with Weather-removal (CFMW) 方法和 Weather Removal Diffusion Model (WRDM),成功提高了检测性能,超过了现有的基准模型。
Apr, 2024
在本文中,我们提出了一种多模态图像融合(MMIF)框架,旨在解决多个可见光图像与红外图像的焦点区域不同的融合问题。通过引入半稀疏平滑滤波器对图像进行分解为结构和纹理成分,并提出了一种新的多尺度操作器对纹理成分进行融合。同时,我们考虑结构成分中能量信息的分布,以实现场景亮度的有效捕捉和合理的对比度维持。实验结果表明,该算法在视觉感知和数量化评估方面均优于现有的方法。
Nov, 2023
我们提出了一种从在恶劣天气条件下拍摄的图像中推断语义分割地图的方法,通过利用语言作为指导,在不同的气候效应对图像的影响下,模型在 WeatherProof 和 ACDC 数据集上表现出了更好的性能。
Mar, 2024
本研究提出了一种新的多天气共存估计方法,基于物理原理模型化了天气不确定性,并通过高斯混合模型和先验 - 后验学习实现了不确定性感知的多天气学习方案。实验结果表明该方法在常规多标签天气分类和多天气共存估计任务中均具有最先进的性能和广泛的泛化能力。
Mar, 2024
提出了一种基于不确定性驱动的多尺度特征融合网络 (UMFFNet),用于图像去雨,通过学习成对图像之间的概率映射分布来估计不确定性,并利用不确定性信息动态增强获取的特征并集中于由雨迹遮挡的模糊区域,从而减少预测误差,对抗资源受限设备上的大参数使用困难,并在多个尺度上进行特征融合以提高网络性能。丰富的实验表明,UMFFNet 在减少参数数量的同时取得了显著的性能提升,超过了现有的图像去雨方法。
Jul, 2023
MetaWeather 是一种针对任意天气条件的少样本天气恢复方法,通过匹配新天气条件下输入图像和示例图像之间的特征,利用元学习构建元知识以提供灵活的适应性,并通过参数高效的微调方法来避免过拟合问题。在 BID Task II.A 数据集上的实验表明,与最先进的图像恢复方法相比,我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。
Aug, 2023
本文介绍了一种创新方法,即采用去噪深度神经网络作为预处理步骤,将恶劣天气图像转换为晴朗天气图像,从而提高 ML-ADAS 系统的鲁棒性。通过使用基于 UNet 架构训练的 Weather UNet(WUNet)深度神经网络,我们的研究在恶劣天气条件下实现了物体检测性能的显著提升。特别是在极度雾霾的情况下,我们的解决方案将 YOLOv8n 的平均准确率(mAP)从 4% 提高到 70%。
Jul, 2024
使用通用的配对训练方法,改进了大型计算机视觉模型在恶劣气候下的语义分割性能,并创建了 WeatherProof 数据集,提供了准确的恶劣气候和晴朗天气的图像对,进一步改善了分割性能的评估,并通过一种采用一致性损失和语言引导的训练流程,使性能提高了 18.4%。
Dec, 2023
我们团队利用两阶段深度学习框架,在恶劣天气条件下的语义分割任务中通过预处理数据、生成高保真度地面真值,以及应用 InternImage 网络等方法,成功获得了 0.43 的平均交并比(mIoU)竞赛得分,在竞赛中获得了第四名的可观成绩。
Jun, 2024
基于雨天对成像系统正常运行的重大影响,本文提出了一种双支路注意力融合网络的方法,旨在解决多维图像特征融合的问题,通过引入两个支路的网络结构和注意力融合模块,完成了完备的消融实验和足够的对比实验,证明了该方法的合理性和有效性。
Jan, 2024