WCCNet: 带有波变换的 CNN 与跨模态重排融合用于快速的多光谱行人检测

Aug, 2023

WCCNet: 带有波变换的 CNN 与跨模态重排融合用于快速的多光谱行人检测

WCCNet: Wavelet-integrated CNN with Crossmodal Rearranging Fusion for Fast Multispectral Pedestrian Detection

Xingjian Wang, Li Chai, Jiming Chen, Zhiguo Shi

TL;DR在具有挑战性条件下，多光谱行人检测在各种任务中实现更好的可视性，因此具有广泛的应用，其中准确性和计算成本非常重要。本文提出了一种名为 WCCNet 的新颖高效的框架，能够差异化地提取不同光谱的丰富特征，降低计算复杂性，并对这些特征进行语义重排，以实现有效的跨模态融合。

Abstract

multispectral pedestrian detection achieves better visibility in challenging conditions and thus has a broad application in various tasks, for which both the accuracy and computational cost are of paramount importance. Most existing approaches treat RGB and infrared modalities equally,

multispectral pedestrian detection wccnet framework dual-stream backbone crossmodal fusion computational efficiency

发现论文，激发创造

跨模态弱对齐学习用于多光谱行人检测

本文提出了一种新型的对齐区域卷积神经网络 (AR-CNN)，通过区域特征对齐，多模态融合和 RoI 抖动等方式处理颜色 - 热图图像不完全对齐的问题，实现多光谱行人检测，并提出了新型的 bounding box 标记方法。

Jan, 2019

行人检测的多光谱深度神经网络

本论文通过对 Faster R-CNN 进行多光谱行人检测任务的深入分析，并将其建模为卷积神经网络（ConvNet）融合问题，同时发现使用彩色和热成像图像训练的基于 ConvNet 的行人检测器在区分人类实例方面提供了互补信息，其在 KAIST 行人基准上的实验结果表明，在不同 DNN 阶段集成两个分支 ConvNets 的四种 ConvNet 融合结构中，半路融合模型在中间级卷积特征上的结合优于基线方法 11％，遗漏率比其他建议的架构低 3.5％。

Nov, 2016

学习跨模态深度表示以实现鲁棒的行人检测

本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

Apr, 2017

针对多光谱行人检测的基于光照感知的 Faster R-CNN

该研究深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，从而使传统架构能够实现与最先进的结果可比的检测性能。然后，提出了一种感知光照的 Faster R-CNN，该方法采用适应性门控函数来整合彩色和热图像，实现了对行人的有效检测，并在 KAIST 多光谱行人基准上获得了验证。

Mar, 2018

WaveCNet: 集成小波变换的卷积神经网络以抑制混叠效应，实现抗噪图像分类

该论文提出了一种将小波变换与 CNN 融合的方法，通过 DWT/IDWT 层将特征图分成低频和高频两部分来提高 CNN 对噪声和对抗性攻击的鲁棒性，并在 COCO 检测数据集上不断提高 object detectors 性能的实验结果表明，该方法可以有效提升 CNN 的训练速度和精度。

Jul, 2021

CFMW: 跨模态融合蟒蛇用于恶劣天气条件下的多光谱物体检测

我们介绍了一种在恶劣天气条件下的可见 - 红外目标检测，通过引入 Cross-modality Fusion Mamba with Weather-removal (CFMW) 方法和 Weather Removal Diffusion Model (WRDM)，成功提高了检测性能，超过了现有的基准模型。

Apr, 2024

多光谱车辆再识别中基于闪烁感知的跨模态增强网络

该研究提出了一种面向多光谱车辆重新识别的方案，该方案通过交叉模态增强网络，结合热红外光谱引导雷达，实现了在各种恶劣环境下识别车辆的高效性。

May, 2023

基于小波的 CNN 用于噪声鲁棒性图像分类

本文研究如何通过离散小波变换（DWT）代替传统的 max-pooling，strided-convolution 和 average-pooling 来提高卷积神经网络（CNN）的抗噪性能，并设计了 WaveCNets 来进行图像分类，实验证明 WaveCNets 相比于 VGG，ResNets 和 DenseNet 等传统版本具有更好的噪声鲁棒性和准确性。

May, 2020

通过解决模态失衡问题来提高多光谱行人检测

本研究提出了一种名为 MBNet 的多光谱行人检测模型，利用 Differential Modality Aware Fusion 模块以及光照感知特征对多种模态进行融合，在 KAIST 和 CVC-14 数据集上均取得了领先于现有模型的准确性与计算效率。

Aug, 2020

基于交叉模态权重网络的 RGB-D 显著性目标检测

本研究提出一种跨模型加权策略（CMW），采用三个 RGB - 深度交互模块（CMW-L、CMW-M 和 CMW-H）来分别处理低、中、高级别跨模式融合信息，并使用深度到 RGB 加权（DW）和 RGB 到 RGB 加权（RW）来允许由不同网络块生成的特征层之间进行丰富的跨模式和跨尺度交互，有效地融合 RGB 和深度通道的信息，同时探索不同尺度的物体定位和细节，实验结果表明，该方法在七个常用基准测试中优于 15 种现有的 RGB-D SOD 方法。

Jul, 2020