CrossFuse:一种基于交叉注意力机制的红外和可见光图像融合新方法
利用双交叉注意力变换器提出了一种新的特征融合框架,以同时建模全局特征交互并捕捉多模态之间的互补信息,从而提高物体特征的区分能力,并通过迭代交互机制在减少模型复杂性和计算成本的同时保证了较快的推理速度。
Aug, 2023
我们提出了一种多尺度双注意 (MDA) 框架,用于红外和可见光图像融合,在图像和块级别测量和整合互补信息,并通过损失函数在结构和特征级别进行融合。
Dec, 2023
通过使用多个卷积核和注意力机制,我们提出了 AMFusionNet,一种创新的红外和可见图像融合方法,通过吸收红外图像的热力细节和可见源的纹理特征,我们的方法生成了丰富信息的图像。实验证明,我们的方法在质量和数量上优于现有的算法,并且公开可用数据集上的性能指标也显示了显著的改进。
Aug, 2023
本研究提出了一种基于文本引导的多模态图像融合方法,利用文本描述的高级语义结合红外和可见光图像的语义信息,为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达,并通过双层优化策略同时优化融合和检测问题,本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。
Dec, 2023
提出两种新的雷达预处理技术,并引入了多任务跨模态注意融合网络(MCAF-Net)来进行目标检测,相对于现有的基于雷达和相机融合的目标检测算法具有更强的鲁棒性,特别是在恶劣的天气条件和夜间场景下。
Jul, 2023
提出了一种基于交叉模式的互动图神经网络(GNN)的架构,称为 IGNet,用于红外和可见光图像融合,通过构建图结构实现了不同模态之间的互动学习,从而提高融合图像的表达和下游任务的性能。
Aug, 2023
本文提出一种基于自编码器的图像融合网络,通过分解图像特征,实现融合的可靠性和细节纹理信息的丰富性,取得了较好的实验效果和鲁棒性。
Mar, 2020
本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion,充分利用设计的跨模式补充策略的相机和 LiDAR 特征,实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法,还证明我们的模型具有噪声抗性和不需要重新训练,能够应用于特定故障场景,增加了 5.2%的平均精度(mAP)和 2.4%的归一化检测得分(NDS)
Apr, 2023
该研究提出了一种名为 SkipcrossNets 的新型融合架构,可以自适应地结合激光雷达点云和相机图像,增强了特征传递和多模态特征融合,通过应用于 KITTI 和 A2D2 数据集向证明了 skip-cross 融合的优势,实现了在 KITTI 上的 96.85% 的最大 F 分数和在 A2D2 上的 84.84% 的 F1 分数。模型参数只需要 2.33 MB 的内存,在 68.24 FPS 的速度下运行,适用于移动终端和嵌入式设备。
Aug, 2023