Mar, 2018

针对多光谱行人检测的基于光照感知的 Faster R-CNN

PDF
TL;DR该研究深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，从而使传统架构能够实现与最先进的结果可比的检测性能。然后，提出了一种感知光照的 Faster R-CNN，该方法采用适应性门控函数来整合彩色和热图像，实现了对行人的有效检测，并在 KAIST 多光谱行人基准上获得了验证。
multispectral imagespedestrian detectionconvolutional network fusionillumination-aware faster r-cnnkaist multispectral pedestrian benchmark
发现论文，激发创造
  • 行人检测的多光谱深度神经网络

    本论文通过对 Faster R-CNN 进行多光谱行人检测任务的深入分析，并将其建模为卷积神经网络（ConvNet）融合问题，同时发现使用彩色和热成像图像训练的基于 ConvNet 的行人检测器在区分人类实例方面提供了互补信息，其在 KAIST 行人基准上的实验结果表明，在不同 DNN 阶段集成两个分支 ConvNets 的四种 ConvNet 融合结构中，半路融合模型在中间级卷积特征上的结合优于基线方法 11％，遗漏率比其他建议的架构低 3.5％。

    Nov, 2016

  • 光照感知深度神经网络融合多光谱数据用于行人检测

    本文提出一种基于多任务学习的多光谱行人检测框架，利用新颖的感知权重机制、带 illumination-aware 的深层卷积神经网络等技术，提高了检测和语义分割的性能。实验结果表明，该方法在 KAIST 多光谱行人数据集上性能超过了现有的最先进方法。

    Feb, 2018

  • 学习跨模态深度表示以实现鲁棒的行人检测

    本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

    Apr, 2017

  • 基于同时检测和分割的多光谱行人检测

    本研究针对光照不足条件下的多光谱行人检测，提出了一种融合网络架构，包括多光谱提议网络和多光谱分类网络。该网络通过同时优化行人检测和语义分割任务进行学习，并通过整合不同模式和两个阶段的输出来获得最终的检测结果，在 KAIST 数据集上显著优于现有方法。此外，作者也提供了一个经过消毒的 KAIST 数据集训练标注，帮助解决不同种类标注错误的问题。

    Aug, 2018

  • 利用显著性地图进行热像中的行人检测

    利用润色图确保在昼间的热成像图像上提高行人检测效果，并在 KAIST 多光谱行人检测数据集的子集上提供像素级行人掩模。

    Apr, 2019

  • 跨模态弱对齐学习用于多光谱行人检测

    本文提出了一种新型的对齐区域卷积神经网络 (AR-CNN)，通过区域特征对齐，多模态融合和 RoI 抖动等方式处理颜色 - 热图图像不完全对齐的问题，实现多光谱行人检测，并提出了新型的 bounding box 标记方法。

    Jan, 2019

  • TFDet: RGB-T 行人检测的目标感知融合

    本文提出了一种名为 TFDet 的新型多光谱行人检测方法，采用目标感知融合策略和相关最大化损失函数来增强地面行人特征，有效地解决了在低光条件下行人检测不准确的问题，并在两项基准测试中达到了 state-of-the-art 的性能。

    May, 2023

  • 基于空间上下文深度网络的自动驾驶多模态行人检测

    本文提出一种基于 RGB 和热图像的、具有新颖空间上下文深度网络结构和多模态特征嵌入模块的行人检测端到端多模态融合模型，其能够在真实世界的日夜低光照条件下实现高效而准确的检测。

    May, 2021

  • 通过解决模态失衡问题来提高多光谱行人检测

    本研究提出了一种名为 MBNet 的多光谱行人检测模型，利用 Differential Modality Aware Fusion 模块以及光照感知特征对多种模态进行融合，在 KAIST 和 CVC-14 数据集上均取得了领先于现有模型的准确性与计算效率。

    Aug, 2020

  • WCCNet: 带有波变换的 CNN 与跨模态重排融合用于快速的多光谱行人检测

    在具有挑战性条件下，多光谱行人检测在各种任务中实现更好的可视性，因此具有广泛的应用，其中准确性和计算成本非常重要。本文提出了一种名为 WCCNet 的新颖高效的框架，能够差异化地提取不同光谱的丰富特征，降低计算复杂性，并对这些特征进行语义重排，以实现有效的跨模态融合。

    Aug, 2023