Apr, 2024

LMFNet：一种高分辨率遥感图像语义分割的高效多模态融合方法

PDF
TL;DR提出了一种轻量级多模态数据融合网络（LMFNet），用于实现多模态遥感图像的融合和语义分割，通过权重共享、多分支视觉变换来同时容纳 RGB、NirRG 和 DSM 等各种数据类型，并通过多模态特征融合重构层和多模态特征自注意融合层对多模态特征进行重构和融合，实验证明了 LMFNet 的有效性。
semantic segmentationmultimodal data fusionremote sensing imageslmfnetfeature extraction
发现论文，激发创造
  • Beyond RGB: 基于多模态深度网络的高分辨率城市遥感技术

    本文研究使用深度完全卷积网络来处理多模态多尺度遥感数据的语义标注，并采用有效的多尺度方法来提高语义标注的精度和深入研究数据的早期和后期融合方法，并在两个公共数据集上验证了我们的方法，表现出令人满意的结果。

    Nov, 2017

  • MFDS-Net: 远程感知变化检测的多尺度特征深度监督网络，融合全局语义和细节信息

    MFDS-Net 是一种基于全局语义和细节信息的多尺度特征深度监督网络，旨在更精细地描述变化的建筑和地理信息，增强变化目标的定位和弱特征的提取。

    May, 2024

  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • GAMUS：一种适用于遥感数据的几何感知多模态语义分割基准测试

    本文提出一种基于 RGB-Height 数据的遥感多模态语义分割新基准数据集，包含大规模数据集，认真评测已有的方法并提出一种新的 Transformer-based 中间多模态融合 (TIMF) 模块来适应令人满意的语义分割性能。

    May, 2023

  • MetaSegNet: 基于元数据协同的视觉语言表示学习用于遥感图像语义分割

    我们提出了一种基于视觉 - 语言表示学习的元数据协作多模态分割网络（MetaSegNet），该网络用于遥感图像的语义分割，并展示了卓越的泛化性能和与现有方法相竞争的准确性。

    Dec, 2023

  • 高效远程感知数据多分辨率融合与标签不确定性

    多模式传感器数据融合的多元化、多传感器数据的多分辨率融合提出了新的方法，无需像素级训练标签，以解决标签不确定性融合慢的问题，其改进的方法在合并传感器数据源时有效且高效。

    Feb, 2024

  • 一种用于航拍场景分类的多级复合卷积神经网络

    本文提出了一种名为 MSDF-Net 的轻量级 ConvNet，采用残留稠密双工融合策略加强特征传播，同时最小化使用参数的数量，通过出图表现显示，MSDF-Net 在 AID 数据集上仅使用 0.49M 参数，就能实现高达 92.96% 的准确性，相较于最近的最先进方法仅使用了 20% 的参数。

    Mar, 2022

  • 多模态变换器用于材料分割

    提出了一种新颖的融合策略，能够有效地融合来自四种不同模态（RGB、AoLP、DoLP 和 NIR）的信息，结合提出的融合策略，使用新模型 Multi-Modal Segmentation Transformer（MMSFormer）在 MCubeS 数据集上实现了 52.05% 的 mIoU，并且在检测砾石（+10.4%）和人物（+9.1%）类别方面提供了显著的改进。

    Sep, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023