AAAIDec, 2021

RGB 热图场景分割的边缘感知引导融合网络

PDF
TL;DR提出一种边缘感知融合引导网络（EGFNet）用于 RGB 热场景解析，在 RGB 和热图像上生成先验边缘映射捕捉详细信息，使用多模态融合模块来融合 RGB 和热信息，使用全局信息和语义信息模块提取高层次特征的语义信息，应用多任务深度监督来提高解析准确性，实验结果表明 EGFNet 是优于现有方法的。
rgb thermal scene parsingedge-aware guidance fusion networkmultimodal fusion moduledeep supervisioncomputer vision
发现论文，激发创造
  • HAPNet：基于混合、非对称和渐进异构特征融合的卓越 RGB - 热场景解析

    本研究探讨了一种利用 VFM 特征进行 RGB - 热像场景解析的可行策略，设计了一个混合的非对称编码器，结合了 VFM 和卷积神经网络，通过逐步融合互补的异构特征，并引入辅助任务来改善解析性能，最终实现优于所有其他现有 RGB - 热像场景解析网络的性能。

    Apr, 2024

  • RGB - 热图像残差空间融合网络用于语义分割

    本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

    Jun, 2023

  • FEANet: 基于特征增强的关注网络进行 RGB - 热图图像实时语义分割

    本文提出了一种双阶段特征增强注意力网络，用于 RGB-T 语义分割任务，可在保留空间信息的同时提高时间效率，并在城市场景数据集上优于其他 SOTA 的 RGB-T 方法。

    Oct, 2021

  • 基于场景特定融合模块的 RGB-X 物体检测

    多模式深度传感器融合为自动驾驶车辆在各种天气条件下实现视觉理解提供了潜力，本研究提出了一种高效、模块化的 RGB-X 融合网络，通过场景特定的融合模块，实现了利用预训练的单模态模型进行融合，从而使用小型、核心配准的多模态数据集创建联合输入自适应的网络架构，在 RGB - 热成像和 RGB - 门控数据集上表现出了优越性，仅使用少量额外的参数进行融合。

    Oct, 2023

  • EGNet: 边缘引导网络用于显著目标检测

    该研究提出了一种名为 EGNet 的边缘引导网络，它结合了显著边缘信息和显著物体信息，实现了更加精确的物体边缘定位。结果显示，该方法在六个广泛使用的数据集上表现优异，无需进行预处理和后处理。

    Aug, 2019

  • FANet: 基于质量感知的特征聚合网络用于稳健的 RGB-T 跟踪

    本研究提出了一种名为质量感知特征聚合网络（FANet）的神经网络架构，用于在恶劣和具有挑战性的条件下使用补充的视觉和热红外数据进行强健的可见光跟踪，并对其进行了广泛的基准数据集实验证明了其与其他最先进的 RGBT 跟踪方法相比较高的准确性表现。

    Nov, 2018

  • 基于极化驱动的语义分割技术：高效融合式关注桥接

    本文介绍了一种基于极化信息的多模态融合方法，利用单次极化传感器构建了首个 RGB-P 类数据集，并且在各种实验中证明了 EAFNet 方法的有效性和可适应性。

    Nov, 2020

  • RGB-T 语义分割的变分概率融合网络

    本研究提出了一种基于变分推断的概率融合网络（VPFNet），采用随机特征样本平均，引入加权交叉熵损失函数、光照和类别先验信息，应对 RGB 和热红外图像融合语义分割中的模态噪声、类不平衡和模态偏差问题，在 MFNet 和 PST900 数据集上实验结果显示该网络取得了最佳的分割性能。

    Jul, 2023

  • MFGNet: 基于动态模态感知滤波器生成的 RGB-T 跟踪网络

    提出一种名为 MFGNet 的动态模态感知滤波器生成模块，其能够通过自适应调整卷积核来增强可见和热数据之间的信息交流，以解决 RGB-T 跟踪中的遮挡、快速运动和视野范围限制等问题，并且实验表明该算法的有效性。

    Jul, 2021

  • HeatNet: 利用热成像技术缩小昼夜间语义分割差距

    本文提出了一种多模态语义分割模型，可以适用于日间和夜间场景，通过引入热成像技术和 RGB 照片，利用现有白天 RGB 数据集实现对夜间图像的学习，并提出了一个新的域对齐训练方法，在自动驾驶方面获得了最新的夜间语义分割结果。

    Mar, 2020