May, 2023

GAMUS：一种适用于遥感数据的几何感知多模态语义分割基准测试

PDF
TL;DR本文提出一种基于 RGB-Height 数据的遥感多模态语义分割新基准数据集，包含大规模数据集，认真评测已有的方法并提出一种新的 Transformer-based 中间多模态融合 (TIMF) 模块来适应令人满意的语义分割性能。
normalized digital surface modelsmulti-modal semantic segmentationremote sensingtransformer-based networksbenchmark
发现论文，激发创造
  • 通用多模态 Transformer 满足遥感语义分割

    在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

    Jul, 2023

  • LMFNet：一种高分辨率遥感图像语义分割的高效多模态融合方法

    提出了一种轻量级多模态数据融合网络（LMFNet），用于实现多模态遥感图像的融合和语义分割，通过权重共享、多分支视觉变换来同时容纳 RGB、NirRG 和 DSM 等各种数据类型，并通过多模态特征融合重构层和多模态特征自注意融合层对多模态特征进行重构和融合，实验证明了 LMFNet 的有效性。

    Apr, 2024

  • Beyond RGB: 基于多模态深度网络的高分辨率城市遥感技术

    本文研究使用深度完全卷积网络来处理多模态多尺度遥感数据的语义标注，并采用有效的多尺度方法来提高语义标注的精度和深入研究数据的早期和后期融合方法，并在两个公共数据集上验证了我们的方法，表现出令人满意的结果。

    Nov, 2017

  • 用于土地覆盖分类的多模态遥感基准数据集和共享特征学习模型

    本文提出了一个用于遥感数据的前沿技术 —— 共享和特定特征学习（S2FL）模型。该模型不仅可以将多模式遥感数据分解为模态共享和模态特定组件，更可以在陆地覆盖分类等多方面任务上发挥有效作用，达到其前沿性和先进性的地位。

    May, 2021

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 跨城市事务：使用高分辨率领域自适应网络进行跨城市语义分割的多模式遥感基准数据集

    为了解决跨城市遥感影像的研究难题，本研究构建了一个新的多模态遥感基准数据集并提出了一种高分辨率领域自适应网络，通过对比其他方法在语义分割任务上的表现，证明了这种方法在分割性能和泛化能力上的优越性。

    Sep, 2023

  • MetaSegNet: 基于元数据协同的视觉语言表示学习用于遥感图像语义分割

    我们提出了一种基于视觉 - 语言表示学习的元数据协作多模态分割网络（MetaSegNet），该网络用于遥感图像的语义分割，并展示了卓越的泛化性能和与现有方法相竞争的准确性。

    Dec, 2023

  • 基于 Transformer 的多模态变化检测与多任务一致性约束

    基于跨维度输入的一种有效的基于 Transformer 的网络用于改变检测，通过交叉关注学习了跨维度输入之间的共享表示，采用一致性约束建立了多模态关系，并通过高度改变阈值和最小化语义与伪改变之间的不同来解决语义和高度改变检测任务之间的多任务冲突。该模型在荷兰的三个城市构建了包含 DSM 到影像的多模态数据集，相对于其他五种先进的改变检测方法，表现出了一致的多任务优势，同时该一致性策略也可以无缝地适用于其他方法，取得了可喜的改进。

    Oct, 2023

  • SkySense: 一种面向地球观测影像的多模态远程感知基础模型

    SkySense 是目前最大的多模态遥感基础模型，通过多种模态的时空序列输入，采用 Multi-Granularity Contrastive Learning 和 Geo-Context Prototype Learning 进行预训练学习，能灵活结合或单独使用其模块以适应各种任务，并在 16 个数据集上的 7 个任务中表现出了卓越的泛化能力，超过了 18 个最新的遥感基础模型。

    Dec, 2023