May, 2024

AMFD: 自适应多模态融合的多光谱行人检测

PDF
TL;DR多光谱行人检测中，采用自适应模态融合蒸馏（AMFD）框架，可有效利用原始模态特征，通过模态提取对齐模块提供学生网络的学习权重，进而独立于教师网络获得最佳融合策略，并在 KAIST、LLVIP 和 SMOD 数据集上实验证明了该方法在降低漏检率和提高平均精度方面优于现有最先进方法。
multispectral pedestrian detectiondouble-stream networksknowledge distillationmodal extraction alignmentsmod dataset
发现论文，激发创造
  • 通过解决模态失衡问题来提高多光谱行人检测

    本研究提出了一种名为 MBNet 的多光谱行人检测模型，利用 Differential Modality Aware Fusion 模块以及光照感知特征对多种模态进行融合，在 KAIST 和 CVC-14 数据集上均取得了领先于现有模型的准确性与计算效率。

    Aug, 2020

  • 高效多模态同步融合检测

    对于自主驾驶来说，多模态图像融合和目标检测起着至关重要的作用。然而，目前的联合学习方法在融合检测任务中取得了显著进展，但繁琐的训练步骤限制了其在更广泛的实际工业部署中的应用。为了解决这个问题，我们提出了一种新的端到端多模态融合检测算法 EfficientMFD，使模型在只进行一次训练步骤后就能展现出良好的性能。通过两个组件之间的同步联合优化，不受各个任务的局部最优解的影响。此外，在共享参数的梯度矩阵之间建立了综合的优化，在融合检测权重下可以收敛到最优点。我们在多个公开数据集上进行了广泛的测试，不仅展现出在视觉上令人满意的融合效果，还在检测性能上表现出优于其他最新方法的优势（例如，6.6% 的 mAP50:95）。

    Mar, 2024

  • MSCoTDet: 基于语言驱动的多模态融合技术用于提升多光谱行人检测

    多光谱行人检测通过引入大型语言模型，融合了视觉与语言信息，提高了检测准确性。

    Mar, 2024

  • 基于同时检测和分割的多光谱行人检测

    本研究针对光照不足条件下的多光谱行人检测，提出了一种融合网络架构，包括多光谱提议网络和多光谱分类网络。该网络通过同时优化行人检测和语义分割任务进行学习，并通过整合不同模式和两个阶段的输出来获得最终的检测结果，在 KAIST 数据集上显著优于现有方法。此外，作者也提供了一个经过消毒的 KAIST 数据集训练标注，帮助解决不同种类标注错误的问题。

    Aug, 2018

  • 光照感知深度神经网络融合多光谱数据用于行人检测

    本文提出一种基于多任务学习的多光谱行人检测框架，利用新颖的感知权重机制、带 illumination-aware 的深层卷积神经网络等技术，提高了检测和语义分割的性能。实验结果表明，该方法在 KAIST 多光谱行人数据集上性能超过了现有的最先进方法。

    Feb, 2018

  • MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报

    本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，并在 KITTI 基准测试中获得了最快速度和更好的性能。

    Sep, 2020

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023

  • 一阶段模态蒸馏用于不完整多模态学习

    基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

    Sep, 2023

  • 无需注册的混合学习增强简单多模式成像系统用于高质量融合检测

    我们提出了一种 CNN-Transformer 混合学习框架（称为 IA-VFDnet），其中包括统一的高质量多模态特征匹配模块（AKM）和融合模块（WDAF），可以应用于烟雾和野火检测，并通过对 M3FD 数据集的实验证明了其在传统注册条件下的最佳检测性能。此外，此论文还公开提供了第一个未注册的多模态烟雾和野火检测基准。

    Jul, 2023