Jun, 2024

卫星影像时序的多模态视觉转换器用于作物分类

PDF
TL;DR通过使用来自不同卫星传感器获取的图像，已经证实在卫星图像时间序列（SITS）的作物分布图框架中，可以提高分类性能。现有的最新架构使用自注意机制处理时间维度和卷积处理空间维度。受到单模态 SITS 作物分布图中纯注意力架构的成功启发，我们引入了几种多模态多时序变换器架构。具体来说，我们研究了在时间空间视觉变换器（TSViT）中早期融合、交叉注意融合和同步类标记融合的有效性。实验结果表明，相较于具有卷积和自注意组件的最新架构，我们的架构显著改善了性能。
发现论文，激发创造
  • 卷积时间注意力网络实现卫星图像时间序列的全景分割

    本篇论文提出了一种全新的端到端的、适合于处理卫星图像时间序列的像素级全景分割方法，并通过引入时序的注意力机制，提取了丰富且自适应的多尺度时空特征，同时还开发了第一个完全公开的卫星图像时间序列数据集 PASTIS，并展示了该方法在语义分割任务上的卓越表现。

    Jul, 2021

  • MMST-ViT：多模态时空视觉转换器的气候变化感知作物产量预测

    通过考虑短期气象变化和长期气候变化对作物的影响，基于多模态时空视觉变换器（MMST-ViT）开发了一个基于深度学习的解决方案，用于预测美国各县的作物产量，并展示其在三个性能指标上优于同类产品。

    Sep, 2023

  • CrossViT: 跨注意力多尺度视觉 Transformer 用于图像分类

    本文提出了一种名为 Dual-Branch Transformer 的模型，通过使用不同尺寸的图像块来获得更强的图像特征，进而学习多尺度特征表示，并采用交叉关注的方法进行多尺度特征的融合，使得计算复杂度得到控制，并在 ImageNet1K 数据集上实现了表现优于或与几个同时期的视觉转换器相当的结果。

    Mar, 2021

  • FM-ViT：面部反欺诈的灵活模态视觉变压器

    本文提出了一种基于 Transformer 的框架，名为 Flexible Modal Vision Transformer (FM-ViT)，用于面部防欺骗，以灵活地针对任何单模态攻击情景和可用的多模态数据。实验结果表明，单个基于 FM-ViT 的模型不仅可以灵活评估不同的模态样本，而且在较小的 FLOPs 和模型参数的情况下，也可以超越现有的单模态框架，并与多模态框架的性能相当。

    May, 2023

  • 探索 Vision Transformers 用于细粒度分类

    研究提出了一种多阶段的 Vision Transformer 框架，用于细粒度图像分类，可在不需要架构变化的情况下定位信息图像区域。 Attention-guided 增强技术提高了模型性能，并在四个流行的细粒度基准测试中进行了实验，同时通过定性结果证明了模型的可解释性。

    Jun, 2021

  • 视觉 Transformer 的多模态 Token 融合

    本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

    Apr, 2022

  • 稀疏扫描先验的视觉转换器

    利用人眼的稀疏扫描机制，通过引入稀疏扫描自注意机制（S^3A）和稀疏扫描视觉 Transformer（SSViT），有效降低计算负荷，达到在计算机视觉任务中出色的性能表现。

    May, 2024

  • 利用分层融合卫星、旋转和上下文数据提高作物分类性能

    提出了一种融合多模态信息的方法，用于改进作物类型分类的准确性和稳健性，并针对 740 万个农业地块发布了新的注释数据集。新方法在评估中表现更好，可用于跨领域零样本学习和从法国到荷兰的少样本设定的稳健性。

    May, 2023

  • 多阶段跨尺度注意力的视觉骨干增强

    我们提出了一个简单的附加注意力模块，通过多阶段和跨尺度的相互作用，克服了 CNN 和 ViTs 在视觉任务中相互特征图之间的互动不足，从而显着提高了性能。

    Aug, 2023

  • 双视觉变压器

    本文提出了名为 Dual Vision Transformer (Dual-ViT) 的新型 Transformer 结构，在保持准确度的前提下，通过综合运用语义路径和像素路径，将全局语义压缩成更高效的先验信息，进而实现了减少计算复杂度的目的，并在实验中表现出比 SOTA Transformer 结构更高的准确度。

    Jul, 2022