本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

Dec, 2023

我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

Dec, 2023

提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

Mar, 2024

提出了一种自适应跨模态目标跟踪算法 Modality-Aware Fusion Network（MAFNet），它通过自适应加权机制有效地整合 RGB 和近红外模态的信息，弥合了外观差距，实现了模态感知的目标表示。

Dec, 2023

利用贝叶斯融合模型，运用 EM 算法，对红外图像和可见光图像进行融合，通过加入 total-variation penalty 来增强目标的自动检测和识别系统，从而得到具有更丰富细节和高光目标的融合图像。

May, 2020

通过引入新型异构双鉴别生成对抗网络（HDDGAN），本研究旨在解决红外与可见光图像融合过程中捕捉热区域信息和纹理细节的挑战。通过多尺度连接结构和注意力机制，HDDGAN 能够从不同源图像中提取重要特征，并实现信息融合结果的更好信息表示。通过在各种公共数据集上进行广泛实验，证明了 HDDGAN 相较于其他现有算法的优越性能，展示其在实际应用中的潜力增强。

Apr, 2024

该研究提出了一种使用两种模态的不同方式，使得单一模型能够处理任何模态，研究了如何有效地利用可见光和红外 / 热模态来创建基于 Transformer 的物体检测模型，并引入了新颖的 MiPa 训练技术，通过达到可竞争的结果平衡模态，最终能够在单一模态推理下击败多模态融合方法。

Apr, 2024

在本文中，我们提出了一个双层对抗性框架，在存在不同类型干扰的情况下提升了检测的鲁棒性。我们首先提出了一个双层优化的公式来引入动态对抗性学习，同时提供了一种分层增强学习策略来发现最有害的干扰。此外，我们还提出了一种用于目标检测的空间频率交互网络，以更好地分离干扰和显著特征。广泛实验证明我们的方案明显改善了在多种干扰下的 21.96％ IOU，并在通常的基准测试中提升了 4.97％的 IOU。

Sep, 2023

基于 DETR 的动态自适应多光谱检测变压器 (DAMS-DETR) 可通过融合红外和可见光图像的互补信息来实现全天候、稳健的物体检测，同时解决高动态变异的互补特征和常见的模态错位问题。

Mar, 2024

通过可见光和红外线传感器的组合，我们设计了一种统一的对抗补丁，能够在不同模态下实施物理攻击，通过改变补丁的形状特征来规避可见光和红外线传感器的检测，实现了同时攻击两种模态的目标检测系统。

Jul, 2023