跨模态图像生成与配准的非监督不对准红外与可见光图像融合
本文提出了一种自适应场景红外和可见图像配准方法,其使用多模态传感器模块进行场景感知。该方法采用反演平移过程建立多模态图像的不变性域,并利用单应性对不同平面间的变形进行仿真,并通过残差估计、相关性搜索等方法实现更准确的匹配,最终验证了该方法的有效性。
Apr, 2023
借助互补冗余信息传输网络(C-RITNet),本论文提出了一个能够提取和整合两种不同模态中的互补信息以生成高质量融合图像的方法,通过互信息传输模块(MIT)、冗余信息获取以源图像为监督的模块(RIASSI)和结构信息保留模块(SIP),能够解决互补信息提取和稳定边缘结构信息的挑战。
Sep, 2023
通过使用多个卷积核和注意力机制,我们提出了 AMFusionNet,一种创新的红外和可见图像融合方法,通过吸收红外图像的热力细节和可见源的纹理特征,我们的方法生成了丰富信息的图像。实验证明,我们的方法在质量和数量上优于现有的算法,并且公开可用数据集上的性能指标也显示了显著的改进。
Aug, 2023
该论文提出了一种名为 BusRef 的单一框架,解决了多模态相机工作时的图像配准和融合问题,同时引入了一种新的训练和评估策略,通过使用蒙版减少无法重构区域对损失函数的影响,大大提高了融合任务的准确性和鲁棒性,通过梯度感知的融合网络进一步提高了算法的性能。
Dec, 2023
本研究主要探讨可见光与近红外光交叉模态图像配准的问题,提出 RGB-NIR-IRegis 基准评估方法并研究视角变化对 RGB-NIR 图像配准的挑战,设计了度量标准分析可见光和红外光图像不一致局部特征对模型性能的消极影响,并提出了使用高层语义引导的 SGFormer 基线方法,实验证明该方法的有效性。
May, 2024
无监督可见红外人员重新识别 (UVI-ReID) 是研究的重点,文章提出了一种新的无监督跨模态人员重新识别框架 (PRAISE),通过修正伪标签和模态层对齐策略来提高性能,并在两个基准数据集上取得了最新的成果。
Apr, 2024
我们提出了一种多尺度双注意 (MDA) 框架,用于红外和可见光图像融合,在图像和块级别测量和整合互补信息,并通过损失函数在结构和特征级别进行融合。
Dec, 2023
本文提出一种基于红外和可见光图像的交互式多任务范式,通过特征筛选的融合子网和融合引导的交叉互补 SOD 子网相结合,进行物体定位和探测,同时提出交互式循环学习策略,以实现这两个任务的互相增强,取得了显著的效果。
May, 2023
基于双模性策略的先验语义引导图像融合方法提供了在智能交通系统中提高红外和可见光图像融合性能的新途径,通过设计并应用两个并行的语义分割支路和一种自适应调制机制,捕捉和整合了两个图像的重要的先验语义信息,并通过多级表示自适应融合模块进一步整合高层语义和细节,优于现有图像融合方法。
Mar, 2024
通过一种基于一致性模型的新型融合方法,称为 CoMoFusion,生成了高质量图像并实现了快速图像推理速度,在红外和可见图像融合领域的生成模型中,传统的基于生成模型的融合方法往往受到不稳定的训练和推理速度慢的困扰。
May, 2024