本研究针对光照不足条件下的多光谱行人检测，提出了一种融合网络架构，包括多光谱提议网络和多光谱分类网络。该网络通过同时优化行人检测和语义分割任务进行学习，并通过整合不同模式和两个阶段的输出来获得最终的检测结果，在 KAIST 数据集上显著优于现有方法。此外，作者也提供了一个经过消毒的 KAIST 数据集训练标注，帮助解决不同种类标注错误的问题。

Aug, 2018

本文提出一种基于多任务学习的多光谱行人检测框架，利用新颖的感知权重机制、带 illumination-aware 的深层卷积神经网络等技术，提高了检测和语义分割的性能。实验结果表明，该方法在 KAIST 多光谱行人数据集上性能超过了现有的最先进方法。

Feb, 2018

本论文通过对 Faster R-CNN 进行多光谱行人检测任务的深入分析，并将其建模为卷积神经网络（ConvNet）融合问题，同时发现使用彩色和热成像图像训练的基于 ConvNet 的行人检测器在区分人类实例方面提供了互补信息，其在 KAIST 行人基准上的实验结果表明，在不同 DNN 阶段集成两个分支 ConvNets 的四种 ConvNet 融合结构中，半路融合模型在中间级卷积特征上的结合优于基线方法 11％，遗漏率比其他建议的架构低 3.5％。

Nov, 2016

本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。

Feb, 2023

多光谱行人检测通过引入大型语言模型，融合了视觉与语言信息，提高了检测准确性。

Mar, 2024

本文提出了一种新型的对齐区域卷积神经网络 (AR-CNN)，通过区域特征对齐，多模态融合和 RoI 抖动等方式处理颜色 - 热图图像不完全对齐的问题，实现多光谱行人检测，并提出了新型的 bounding box 标记方法。

Jan, 2019

多光谱行人检测中，采用自适应模态融合蒸馏（AMFD）框架，可有效利用原始模态特征，通过模态提取对齐模块提供学生网络的学习权重，进而独立于教师网络获得最佳融合策略，并在 KAIST、LLVIP 和 SMOD 数据集上实验证明了该方法在降低漏检率和提高平均精度方面优于现有最先进方法。

May, 2024

本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

Apr, 2017

该研究深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，从而使传统架构能够实现与最先进的结果可比的检测性能。然后，提出了一种感知光照的 Faster R-CNN，该方法采用适应性门控函数来整合彩色和热图像，实现了对行人的有效检测，并在 KAIST 多光谱行人基准上获得了验证。

Mar, 2018

为了解决 RGBT 多光谱行人检测中模态偏差问题，文中提出了一种新的因果模式复用器（Causal Mode Multiplexer）框架，并构建了新的 ROTX-MP 数据集用于评估模态偏差。通过大量实验证明，所提出的 CMM 框架在现有数据集（KAIST、CVC-14、FLIR）和新的 ROTX-MP 数据集上具有很好的泛化能力，并将该数据集公开发布用于未来的研究。

Mar, 2024