PAIF: 感知感知红外可见光图像融合技术对抗容忍语义分割

MMAug, 2023

PAIF: 感知感知红外可见光图像融合技术对抗容忍语义分割

PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation

Zhu Liu, Jinyuan Liu, Benzhuang Zhang, Long Ma, Xin Fan...

TL;DR提出了一种感知感知融合框架来提高对抗环境中的分割鲁棒性，通过系统分析图像融合的组成部分与对抗扰动下的分割鲁棒性的相关性，并提出一种基于分解结构的协同设计方法来平衡标准准确率和鲁棒性，以及一种自适应学习策略来提高图像融合的参数鲁棒性。实验结果表明，与先进竞争对手相比，在对抗场景中分割的 mIOU 提高了 15.3%。

Abstract

infrared and visible image fusion is a powerful technique that combines complementary information from different modalities for downstream semantic perception tasks. Existing learning-based methods show remarkabl

infrared and visible image fusion learning-based methods adversarial attacks segmentation robustness perception-aware fusion framework

发现论文，激发创造

SSPFusion：红外与可见光图像融合的语义结构保持方法

提出一种语义结构保持的红外与可见光图像融合方法 (SSPFusion)，通过结构特征提取器和多尺度结构保持融合模块，在保持语义结构一致性的基础上生成高质量的融合图像，提升下游计算机视觉任务的性能。实验结果表明该方法在定性和定量评估上优于八个先进的图像融合方法。

Sep, 2023

超越夜间可见性：红外和可见光图像的自适应多尺度融合

提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

Mar, 2024

基于空间 - 通道注意机制的红外与可见光图像融合

通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

Aug, 2023

IAIFNet：一种光照感知的红外和可见光图像融合网络

提出了一种考虑低光环境照明条件的光学和红外图像融合网络，利用自适应差分融合模块和显著目标感知模块，将提升过照明的红外和可见图像的显著特征有效地融合，生成高质量的融合图像，并验证其优于五种最先进的红外和可见图像融合方法。

Sep, 2023

复杂场景下基于分解和干扰感知的红外与可见光图像融合

我们提出了一种基于分解和干扰感知的图像融合方法，通过对可见图像的散射程度进行像素分类并分离图像的细节和能量信息，实现对复杂场景中的干扰像素的更好识别，并结合自适应降噪和加权融合规则，得到在复杂场景下优越的图像融合效果。

Feb, 2024

红外和可见光图像融合的多尺度信息融合框架

我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

Dec, 2023

双模先验语义引导的红外和可见光图像融合在智能交通系统中的应用

基于双模性策略的先验语义引导图像融合方法提供了在智能交通系统中提高红外和可见光图像融合性能的新途径，通过设计并应用两个并行的语义分割支路和一种自适应调制机制，捕捉和整合了两个图像的重要的先验语义信息，并通过多级表示自适应融合模块进一步整合高层语义和细节，优于现有图像融合方法。

Mar, 2024

感知感知多传感器融合用于 3D LiDAR 语义分割

本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

Jun, 2021

从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

Dec, 2023

SimpleFusion：红外和可见光图像的简单融合框架

将可见光和红外图像融合成一幅高质量图像是许多下游视觉任务中具有挑战性但关键的任务。本文提出了一种简单而有效的可见光和红外图像融合框架 SimpleFusion。该框架通过 Retinex 理论将可见光和红外图像分解成反射和光照部分，并进行相应元素的融合。整个框架采用两个简单的卷积神经网络设计，无需降采样，能够高效地执行图像分解和融合。此外，我们引入了分解损失和细节到语义损失来保留两种模态之间的互补信息进行融合。通过在具有挑战性的基准测试上进行广泛实验，验证了我们方法在之前最先进方法上的优越性。

Jun, 2024