HSFusion: 通过语义和几何域转换实现高级视觉任务驱动的红外与可见光图像融合网络
本文提出了一种基于深度学习以及低秩表示为基础的图像融合网络构建方法,可以通过学得的模型来引导网络构造,以实现最佳的融合效果。在公共数据集中的实验结果表明,本文所提出的方法比其他现有的方法在融合性能方面具有更好的表现,而且所需的训练参数比其他方法要少。
Apr, 2023
本研究提出了一种基于 TIM 深度模型的图像融合方法,采用下游任务引导和隐式搜索机制来提高图像质量和视觉感知,并在不同类型的图像融合问题和相关下游任务上得到了很好的实验结果。
May, 2023
提出了一种感知感知融合框架来提高对抗环境中的分割鲁棒性,通过系统分析图像融合的组成部分与对抗扰动下的分割鲁棒性的相关性,并提出一种基于分解结构的协同设计方法来平衡标准准确率和鲁棒性,以及一种自适应学习策略来提高图像融合的参数鲁棒性。实验结果表明,与先进竞争对手相比,在对抗场景中分割的mIOU提高了15.3%。
Aug, 2023
通过使用多个卷积核和注意力机制,我们提出了AMFusionNet,一种创新的红外和可见图像融合方法,通过吸收红外图像的热力细节和可见源的纹理特征,我们的方法生成了丰富信息的图像。实验证明,我们的方法在质量和数量上优于现有的算法,并且公开可用数据集上的性能指标也显示了显著的改进。
Aug, 2023
本研究提出了一种基于文本引导的多模态图像融合方法,利用文本描述的高级语义结合红外和可见光图像的语义信息,为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达,并通过双层优化策略同时优化融合和检测问题,本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。
Dec, 2023
通过引入新型异构双鉴别生成对抗网络(HDDGAN),本研究旨在解决红外与可见光图像融合过程中捕捉热区域信息和纹理细节的挑战。通过多尺度连接结构和注意力机制,HDDGAN能够从不同源图像中提取重要特征,并实现信息融合结果的更好信息表示。通过在各种公共数据集上进行广泛实验,证明了HDDGAN相较于其他现有算法的优越性能,展示其在实际应用中的潜力增强。
Apr, 2024
将可见光和红外图像融合成一幅高质量图像是许多下游视觉任务中具有挑战性但关键的任务。本文提出了一种简单而有效的可见光和红外图像融合框架SimpleFusion。该框架通过Retinex理论将可见光和红外图像分解成反射和光照部分,并进行相应元素的融合。整个框架采用两个简单的卷积神经网络设计,无需降采样,能够高效地执行图像分解和融合。此外,我们引入了分解损失和细节到语义损失来保留两种模态之间的互补信息进行融合。通过在具有挑战性的基准测试上进行广泛实验,验证了我们方法在之前最先进方法上的优越性。
Jun, 2024
通过建模相关性驱动分解特征和推理高级图表示以高效地提取互补特征和多引导特征聚合,本论文提出了一个三分支编码器-解码器体系结构以及相应的融合层作为融合策略,用于多模态图像融合,并介绍了图推理模块以推理高级跨模态关系和同时从CAI的特定模态补充信息中提取低级细节特征。实验证明,我们的方法在可见/红外图像融合和医学图像融合任务中取得了与最先进方法相媲美的结果,并且在后续任务中超过了其他融合方法,平均得分在物体检测方面高出9.78% [email protected],语义分割方面高出6.46% mIoU。
Jun, 2024
本研究解决了现有图像融合方法在增强人类感知方面的不足,提出了一种新的图像融合方法——分层感知融合(HPFusion)。该方法利用大型视觉语言模型引入分层的人类语义先验,优化融合图像以更好地满足人类视觉系统的需求,实验结果表明HPFusion在信息保留和视觉增强方面均表现出色。
Sep, 2024
本研究解决了红外和可见光图像融合中的关键特征保留问题,提出了一种双分支特征分解融合网络(DAF-Net)及其领域自适应方法。通过引入多核最大均值差异(MK-MMD)和设计混合核函数,DAF-Net有效对齐了红外和可见光图像的潜在特征空间,显著提升了融合图像的质量和性能。
Sep, 2024