Aug, 2023

跨模态建议引导的特征挖掘用于未注册的 RGB - 热红外行人检测

PDF
TL;DR通过提出跨模态提案引导特征挖掘机制和双流密集检测器，本研究解决了 RGB-T 行人检测中由于未对齐图像对导致的跨模态互补和未对齐行人的识别等问题，并通过数据增强方法和非极大值抑制方法进一步提高了方法的有效性和鲁棒性。
rgb-thermal pedestrian detectionmisaligned image pairscross-modality proposal-guided feature miningtwo-stream dense detectorunregistered pedestrians
发现论文，激发创造
  • TFDet: RGB-T 行人检测的目标感知融合

    本文提出了一种名为 TFDet 的新型多光谱行人检测方法，采用目标感知融合策略和相关最大化损失函数来增强地面行人特征，有效地解决了在低光条件下行人检测不准确的问题，并在两项基准测试中达到了 state-of-the-art 的性能。

    May, 2023

  • 学习跨模态深度表示以实现鲁棒的行人检测

    本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。

    Apr, 2017

  • 跨模态弱对齐学习用于多光谱行人检测

    本文提出了一种新型的对齐区域卷积神经网络 (AR-CNN)，通过区域特征对齐，多模态融合和 RoI 抖动等方式处理颜色 - 热图图像不完全对齐的问题，实现多光谱行人检测，并提出了新型的 bounding box 标记方法。

    Jan, 2019

  • 因果模态复用器：一种用于无偏多光谱行人检测的新型框架

    为了解决 RGBT 多光谱行人检测中模态偏差问题，文中提出了一种新的因果模式复用器（Causal Mode Multiplexer）框架，并构建了新的 ROTX-MP 数据集用于评估模态偏差。通过大量实验证明，所提出的 CMM 框架在现有数据集（KAIST、CVC-14、FLIR）和新的 ROTX-MP 数据集上具有很好的泛化能力，并将该数据集公开发布用于未来的研究。

    Mar, 2024

  • 基于空间上下文深度网络的自动驾驶多模态行人检测

    本文提出一种基于 RGB 和热图像的、具有新颖空间上下文深度网络结构和多模态特征嵌入模块的行人检测端到端多模态融合模型，其能够在真实世界的日夜低光照条件下实现高效而准确的检测。

    May, 2021

  • MSCoTDet: 基于语言驱动的多模态融合技术用于提升多光谱行人检测

    多光谱行人检测通过引入大型语言模型，融合了视觉与语言信息，提高了检测准确性。

    Mar, 2024

  • 行人检测的多光谱深度神经网络

    本论文通过对 Faster R-CNN 进行多光谱行人检测任务的深入分析，并将其建模为卷积神经网络（ConvNet）融合问题，同时发现使用彩色和热成像图像训练的基于 ConvNet 的行人检测器在区分人类实例方面提供了互补信息，其在 KAIST 行人基准上的实验结果表明，在不同 DNN 阶段集成两个分支 ConvNets 的四种 ConvNet 融合结构中，半路融合模型在中间级卷积特征上的结合优于基线方法 11％，遗漏率比其他建议的架构低 3.5％。

    Nov, 2016

  • 针对多光谱行人检测的基于光照感知的 Faster R-CNN

    该研究深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，从而使传统架构能够实现与最先进的结果可比的检测性能。然后，提出了一种感知光照的 Faster R-CNN，该方法采用适应性门控函数来整合彩色和热图像，实现了对行人的有效检测，并在 KAIST 多光谱行人基准上获得了验证。

    Mar, 2018

  • 从双流到单流：通过互动提示学习和知识蒸馏实现高效的 RGB-T 跟踪

    通过可见光图像和红外热图像的融合进行物体跟踪的 RGB-T 跟踪，通过交叉模态相互提示学习的新型两流 RGB-T 跟踪架构，将此模型作为教师指导单流学生模型，通过知识蒸馏技术实现快速学习，实验证明与类似的 RGB-T 跟踪器相比，我们设计的教师模型达到了最高的精确度，而具有相当精确度的学生模型实现了比教师模型快三倍以上的推理速度。

    Mar, 2024

  • 多模态混合学习与顺序训练在 RGB-T 显著性检测中的应用

    我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无需额外计算开销。性能评估和消融研究结果表明，与现有的最先进方法相比，该方法取得了卓越的性能。

    Sep, 2023