Jun, 2023

基于 Transformer 的多模态学习用于多标签遥感图像分类

PDF
TL;DR介绍了一种新的带有同步类令牌融合（SCT Fusion）的架构，用于处理多模态遥感（RS）图像的多模态多标签分类（MLC），该架构利用了模态特定的注意力机制，通过在每个变压器编码器块之后同步类令牌实现跨模态交换信息。
multi-modal multi-label classificationremote sensing imagesattention-based transformer encoderssynchronized class token fusiontrainable fusion transformation
发现论文，激发创造
  • 基于 Transformer 的联合学习用于多标签遥感影像分类

    通过研究最先进的转换器架构（即 MLP-Mixer、ConvMixer、PoolFormer）在非独立和非同分布的训练数据上实现联合学习，针对遥感中的多标签分类问题，在不同非独立和非同分布程度下，比较了这些转换器架构在训练数据异质性、局部训练复杂性和聚合复杂性方面的性能，实验结果表明这些架构在增加泛化能力的同时增加了局部训练和聚合复杂性，为选择适用于遥感多标签分类领域的转换器架构提供了指导。

    May, 2024

  • 卫星影像时序的多模态视觉转换器用于作物分类

    通过使用来自不同卫星传感器获取的图像，已经证实在卫星图像时间序列（SITS）的作物分布图框架中，可以提高分类性能。现有的最新架构使用自注意机制处理时间维度和卷积处理空间维度。受到单模态 SITS 作物分布图中纯注意力架构的成功启发，我们引入了几种多模态多时序变换器架构。具体来说，我们研究了在时间空间视觉变换器（TSViT）中早期融合、交叉注意融合和同步类标记融合的有效性。实验结果表明，相较于具有卷积和自注意组件的最新架构，我们的架构显著改善了性能。

    Jun, 2024

  • 视觉 Transformer 的多模态 Token 融合

    本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

    Apr, 2022

  • 遥感图像目标检测的跨通道注意力多模态变换器

    通过多模式远程感知数据进行对象检测，提出了一个基于多模式变换器的解决方案，包括交叉通道注意力模块和结合卷积层和固定维度的新架构，以实现细粒度到粗粒度的表示生成，并在广泛实验中验证了其有效性和适用性。

    Oct, 2023

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 联邦学习在分布式多模遥感档案中的应用

    本文提出了一种新颖的多模式联邦学习框架，旨在从分散的多模式遥感图像档案中学习用于遥感图像分类问题，该框架由多模式融合（MF）、特征白化（FW）和互信息最大化（MIM）三个模块组成，实验结果表明，相对于迭代模型平均（IMA），所提出的框架有效。

    Jun, 2023

  • 弱监督语义分割的多类别令牌变换器

    本文提出了一种基于 Transformer 的新框架，用于学习类别特定的物体定位映射，作为弱监督语义分割的伪标签。通过将多个类别令牌引入 Transformer 中，实现对类别特定注意力的有效捕获，从而生成对应于不同类别令牌的类别判别性的物体定位映射，并进一步利用从 patch-patch Transformer 的注意力中提取的 patch-level 成对亲和力来细化定位图。这个提议的框架可以完全补充 Class Activation Mapping（CAM）方法，提高 WSSS 的结果。

    Mar, 2022

  • MCTformer+: 弱监督语义分割的多类标记变换器

    本文提出了一种新颖的基于 Transformer 的框架，旨在通过生成准确的类特定目标定位图作为伪标签来增强弱监督语义分割，并探讨了 Transformer 模型捕捉类特定关注力以实现具有类鉴别性的目标定位的潜力。

    Aug, 2023

  • 遥感中的视觉问答多模态融合变压器

    该文提出了一种多模态变压器架构，名为 VBFusion，用于弥补当前 VQA 系统融合模态间表示不足的问题，并通过对 Sentinel-2 图像进行多波段的研究使得其具备更强的描述远程感应图像内容的能力。

    Oct, 2022

  • 基于 Transformer 的多模态脑卒中治疗分类结果预测

    本研究提出了一种基于 Transformer 架构和自注意机制的多模态融合框架 Multitrans，通过将非对比度计算机断层成像（NCCT）图像和中风治疗患者的出院诊断报告结合起来，使用一种基于 Transformer 架构的多种方法来预测中风治疗的功能结果。结果表明，单模态文本分类的性能明显优于单模态图像分类，但多模态组合的效果优于任何单模态。尽管 Transformer 模型在成像数据上的性能不佳，但当与临床元诊断信息结合时，两者都能学习到更好的互补信息，并为准确预测中风治疗效果做出良好贡献。

    Apr, 2024