基于空间上下文深度网络的自动驾驶多模态行人检测

May, 2021

基于空间上下文深度网络的自动驾驶多模态行人检测

Spatio-Contextual Deep Network Based Multimodal Pedestrian Detection For Autonomous Driving

Kinjal Dasgupta, Arindam Das, Sudip Das, Ujjwal Bhattacharya, Senthil Yogamani

TL;DR本文提出一种基于 RGB 和热图像的、具有新颖空间上下文深度网络结构和多模态特征嵌入模块的行人检测端到端多模态融合模型，其能够在真实世界的日夜低光照条件下实现高效而准确的检测。

Abstract

pedestrian detection is the most critical module of an autonomous driving system. Although a camera is commonly used for this purpose, its quality degrades severely in low-light night time driving scenarios. On t

pedestrian detection autonomous driving multimodal fusion model rgb thermal images

发现论文，激发创造

行人检测的多光谱深度神经网络

本论文通过对 Faster R-CNN 进行多光谱行人检测任务的深入分析，并将其建模为卷积神经网络（ConvNet）融合问题，同时发现使用彩色和热成像图像训练的基于 ConvNet 的行人检测器在区分人类实例方面提供了互补信息，其在 KAIST 行人基准上的实验结果表明，在不同 DNN 阶段集成两个分支 ConvNets 的四种 ConvNet 融合结构中，半路融合模型在中间级卷积特征上的结合优于基线方法 11％，遗漏率比其他建议的架构低 3.5％。

Nov, 2016

学习跨模态深度表示以实现鲁棒的行人检测

本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

Apr, 2017

利用特征融合和时空注意力预测行人过路意图

该研究提出一种采用注意力机制和递归神经网络融合序列 RGB 影像、语义分割掩码和自车速度的神经网络结构，用于预测行人过马路意图，从而解决全局时空上下文与融合传感器数据的最优策略问题，实现了针对自动驾驶系统中行人行为预测的最优性能。

Apr, 2021

语义驱动的多摄像头行人检测

本论文介绍了一个利用自动提取的场景上下文信息的多摄像头全局组合行人检测方法，通过语义分割技术获得上下文信息用于自动生成场景的共同区域，从而获取一系列的联合检测框。相比其他同类方法，本文提出的方法具有场景无关性和实现的快速性，且在五个公共数据集上验证具有更好的性能。

Dec, 2018

基于同时检测和分割的多光谱行人检测

本研究针对光照不足条件下的多光谱行人检测，提出了一种融合网络架构，包括多光谱提议网络和多光谱分类网络。该网络通过同时优化行人检测和语义分割任务进行学习，并通过整合不同模式和两个阶段的输出来获得最终的检测结果，在 KAIST 数据集上显著优于现有方法。此外，作者也提供了一个经过消毒的 KAIST 数据集训练标注，帮助解决不同种类标注错误的问题。

Aug, 2018

光照感知深度神经网络融合多光谱数据用于行人检测

本文提出一种基于多任务学习的多光谱行人检测框架，利用新颖的感知权重机制、带 illumination-aware 的深层卷积神经网络等技术，提高了检测和语义分割的性能。实验结果表明，该方法在 KAIST 多光谱行人数据集上性能超过了现有的最先进方法。

Feb, 2018

基于时空 DenseNet 的自主地面车辆的行人实时意图预测

本文提出了一种基于图像序列的单目 RGB 相机的实时框架，使用区别于基线方法的跟踪 - 检测技术和创新的时空 DenseNet 模型识别、跟踪和预测行人在城市交通环境中的意图和动作，以实现对自主地面车辆行为的理解。实验表明，该方法在实时性和效果方面比其他基线方法更具鲁棒性和竞争力，平均精度得分为 84.76％，帧率为 20FPS。

Apr, 2019

针对多光谱行人检测的基于光照感知的 Faster R-CNN

该研究深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，从而使传统架构能够实现与最先进的结果可比的检测性能。然后，提出了一种感知光照的 Faster R-CNN，该方法采用适应性门控函数来整合彩色和热图像，实现了对行人的有效检测，并在 KAIST 多光谱行人基准上获得了验证。

Mar, 2018

行人意图预测的局部和全局情境特征融合

该研究使用计算机视觉和多模态特征识别，以实现自主车辆与行人之间的安全互动，并在 JAAD 数据集上展示了比现有技术更优秀的预测结果。

May, 2023

基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

May, 2020