Jul, 2023

RGB-T 语义分割的变分概率融合网络

PDF
TL;DR本研究提出了一种基于变分推断的概率融合网络（VPFNet），采用随机特征样本平均，引入加权交叉熵损失函数、光照和类别先验信息，应对 RGB 和热红外图像融合语义分割中的模态噪声、类不平衡和模态偏差问题，在 MFNet 和 PST900 数据集上实验结果显示该网络取得了最佳的分割性能。
rgb-t semantic segmentationmodality featuresvariational probabilistic fusion networkvariational feature fusion moduleweighted cross-entropy loss
发现论文，激发创造
  • RGB - 热图像残差空间融合网络用于语义分割

    本文提出了一种基于 Residual Spatial Fusion Network 的 RGB-Thermal 语义分割方法，通过采用不对称编码器和 Saliency Detection 生成伪标签来学习 RGB 和热成像的补偿特征，并通过使用 Residual Spatial Fusion (RSF) 模块来实现跨模态特征的空间融合，最终在 MFNet 数据库和 PST900 数据库上实现了最新的分割性能。

    Jun, 2023

  • HAPNet：基于混合、非对称和渐进异构特征融合的卓越 RGB - 热场景解析

    本研究探讨了一种利用 VFM 特征进行 RGB - 热像场景解析的可行策略，设计了一个混合的非对称编码器，结合了 VFM 和卷积神经网络，通过逐步融合互补的异构特征，并引入辅助任务来改善解析性能，最终实现优于所有其他现有 RGB - 热像场景解析网络的性能。

    Apr, 2024

  • VPFNet：基于体素像素融合的多类三维物体检测网络

    本论文提出了一种基于深度学习的融合多类三维物体检测网络，使用 Voxel-Pixel 融合层将激光雷达和相机传感器数据流进行联合，此方法在 KITTI 基准测试中表现优异，排名第一。

    Nov, 2021

  • FEANet: 基于特征增强的关注网络进行 RGB - 热图图像实时语义分割

    本文提出了一种双阶段特征增强注意力网络，用于 RGB-T 语义分割任务，可在保留空间信息的同时提高时间效率，并在城市场景数据集上优于其他 SOTA 的 RGB-T 方法。

    Oct, 2021

  • RGB 热图场景分割的边缘感知引导融合网络

    提出一种边缘感知融合引导网络（EGFNet）用于 RGB 热场景解析，在 RGB 和热图像上生成先验边缘映射捕捉详细信息，使用多模态融合模块来融合 RGB 和热信息，使用全局信息和语义信息模块提取高层次特征的语义信息，应用多任务深度监督来提高解析准确性，实验结果表明 EGFNet 是优于现有方法的。

    Dec, 2021

  • F3Net: 融合、反馈和聚焦用于显著目标检测

    本文提出 F3Net 算法，通过交叉特征模块和级联反馈解码器，结合像素位置感知损失函数，实现高效的显著目标检测，能够在各项指标上优于现有算法。

    Nov, 2019

  • 基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合

    RGB-T 跟踪中，如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法，提出了 CSTNet，使用 ViT 作为主干，并插入了跨模态通道特征融合模块和跨模态空间特征融合模块，实现了 RGB 和 TIR 特征的直接交互。通过综合实验，CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。

    May, 2024

  • 基于 RGB-Event 融合的可变光照下的交通物体检测增强

    针对传统基于帧的摄像机由于动态范围受限而导致的信息丢失，我们引入了生物启发式事件摄像机，并提出了一种新颖的结构感知融合网络（SFNet），通过跨模态融合从事件流中提取清晰和完整的物体结构，以补偿图像中的信息丢失，从而使网络能够获得对光照鲁棒的交通物体检测表示。

    Nov, 2023

  • V-D-T 显著目标检测的质量感知选择融合网络

    提出了一个质量感知的选择性融合网络 (QSF-Net)，该网络包含三个子网络，分别是初始特征提取子网络、质量感知区域选择子网络和区域引导的选择性融合子网络。在 VDT (Visual Data Thematic) 显著对象检测任务中，通过使用深度图像和热图像的空间几何信息和表面温度信息，结合 RGB 图像，实现了对低质量深度和热图像的显著对象检测。

    May, 2024

  • LMFNet：一种高分辨率遥感图像语义分割的高效多模态融合方法

    提出了一种轻量级多模态数据融合网络（LMFNet），用于实现多模态遥感图像的融合和语义分割，通过权重共享、多分支视觉变换来同时容纳 RGB、NirRG 和 DSM 等各种数据类型，并通过多模态特征融合重构层和多模态特征自注意融合层对多模态特征进行重构和融合，实验证明了 LMFNet 的有效性。

    Apr, 2024