本文提出了一种自适应场景红外和可见图像配准方法，其使用多模态传感器模块进行场景感知。该方法采用反演平移过程建立多模态图像的不变性域，并利用单应性对不同平面间的变形进行仿真，并通过残差估计、相关性搜索等方法实现更准确的匹配，最终验证了该方法的有效性。

Apr, 2023

本文提出了一种新颖的端到端对齐生成对抗网络 (AlignGAN)，以联合像素和特征对齐减轻 RGB-IR RE-ID 任务中的跨模态和内模态差异，并学习一致身份特征，在 SYSU-MM01 数据集上取得了优于当前最先进方法的结果。

Oct, 2019

本文提出了一种基于生成和配准的深度学习方法，用于无监督热红外图像和可见光图像的融合，通过生成伪红外图像并使用多级配准网络实现图像配准，在特征交互融合模块中，对所选择的特征进行融合，以提高融合质量和鲁棒性。

May, 2022

该研究提出了一种可见光与近红外图像融合的方法，通过使用 RGBT 传感器获取的可见图像和近红外通道的信息，利用 SSIM 损失和边缘保护等技术进行融合，并在实验证明相比其他方法，该方法在多光谱融合方面取得了更好的结果。

Jul, 2023

提出了一种自适应跨模态目标跟踪算法 Modality-Aware Fusion Network（MAFNet），它通过自适应加权机制有效地整合 RGB 和近红外模态的信息，弥合了外观差距，实现了模态感知的目标表示。

Dec, 2023

本研究提出了一种新的集成增强算法，通过分离可见光和近红外信息并将其自适应增强，在白天和黑夜都能产生清晰的彩色图像，实验结果显示其效果显著。

May, 2020

本文介绍了一种使用深度多尺度卷积神经网络将 RGB 彩色谱转换为近红外 (NIR) 图像的方法，通过 NIR 和 RGB 像素之间的直接集成传输来训练模型，不需要任何用户指导或参考图像数据库，在召回阶段生成具有自然外观的图像，并通过保留 NIR 图像的丰富细节，将其高频特征转移至估算的 RGB 图像，本方法在一个真实世界的数据集上进行了训练和评估，该数据集包含大量夏季道路场景图像，由多 CCD NIR/RGB 相机捕获，保证了完美的像素对齐。

Apr, 2016

本研究提出了一种新方法，通过生成跨模态的配对图像并进行全局和细粒度实例级别的对齐，使 RGB-IR Re-ID 的性能得到改善，实验证明该方法在两个标准基准测试中表现优于现有的最新技术。

Feb, 2020

SIM 是一种新的相似度推理度量方法，它利用两个不同视角的内模态样本相似性来挖掘跨模态样本相似性，从而通过连续相似度图推理和互惠最近邻推理来解决 RGB - 红外交叉模态人员重新识别的问题。

Jul, 2020

通过有效利用近红外图像辅助可见光图像去噪，提出了一种选择性融合模块（SFM）来解决近红外 - 可见光图像去噪的内容不一致和数据稀缺等问题，并通过综合全局和局部调节的方式实现了两种特征的融合。实验结果表明，该方法在合成和真实数据集上均取得了优于现有方法的效果，同时还提供了公开的数据集、代码和预训练模型。

Apr, 2024